[論文レビュー] Edges Are All You Need: Robust Gait Recognition via Label-Free Structure

Chao Zhang, Zhuang Zheng+2 more|arXiv (Cornell University)|Mar 4, 2026

Gait Recognition and Analysis被引用数 0

ひとこと要約

この論文は、ラベルなしのエッジベースの歩行表現であるSketchと、SketchGait++を含むデュアルストリームSketchGaitフレームワークを導入し、SketchをParsing（およびSilhouette）と組み合わせることで、多様な条件下での歩行認識を改善する。

ABSTRACT

Gait recognition is a non-intrusive biometric technique for security applications, yet existing studies are dominated by silhouette- and parsing-based representations. Silhouettes are sparse and miss internal structural details, limiting discriminability. Parsing enriches silhouettes with part-level structures, but relies heavily on upstream human parsers (e.g., label granularity and boundary precision), leading to unstable performance across datasets and sometimes even inferior results to silhouettes. We revisit gait representations from a structural perspective and describe a design space defined by edge density and supervision form: silhouettes use sparse boundary edges with weak single-label supervision, while parsing uses denser cues with strong semantic priors. In this space, we identify an underexplored paradigm: dense part-level structure without explicit semantic labels, and introduce SKETCH as a new visual modality for gait recognition. Sketch extracts high-frequency structural cues (e.g., limb articulations and self-occlusion contours) directly from RGB images via edge-based detectors in a label-free manner. We further show that label-guided parsing and label-free sketch are semantically decoupled and structurally complementary. Based on this, we propose SKETCHGAIT, a hierarchically disentangled multi-modal framework with two independent streams for modality-specific learning and a lightweight early-stage fusion branch to capture structural complementarity. Extensive experiments on SUSTech1K and CCPG validate the proposed modality and framework: SketchGait achieves 92.9% Rank-1 on SUSTech1K and 93.1% mean Rank-1 on CCPG.

研究の動機と目的

• 構造的エッジ密度と意味的豊富さを通じて歩行表現を再検討し、密でラベルなしの手がかりの価値を明らかにする。
• RGBデータから高周波の構造エッジを捉える新しいラベルなし視覚モダリティとしてSketchを提案する。
• SketchGaitというマルチモーダル歩行フレームワークを開発し、SketchとParsingを統合しつつ、モダリティ固有の学習を保持しつつ低次のクロスモーダル相互作用を可能にする。
• Silhouetteを組み込んでSketchGait++に拡張し、多様なデータセットでの性能をさらに向上させる。
• 大規模ベンチマークでSketchと既存モダリティの有効性と補完性を実証する。

提案手法

• Sketchを、エッジ検出器（例：Sobel、TEED）を用いてマスク済みRGBフレームから抽出される密なラベルなしエッジベース表現として定義する。
• 前景マスキングとエッジ検出を用いて肢の輪郭と自己遮蔽エッジを強調するSketchを構築する。
• SketchGaitはSketchとParsingの2つの独立ストリームと、浅層段階での横断モーダル手がかりを捉える軽量な早期フュージョン分岐を提案する。
• さらにSilhouetteを第三モダリティとして追加してSketchGait++へ拡張し、性能をさらに向上させる。
• トリプレットロス（バッチハード）とアイデンティティ分類のクロスエントロピーロスを結合した共同目的で訓練する。

実験結果

リサーチクエスチョン

• RQ1 密なラベルなしエッジベース表現（Sketch）は、歩行認識のための意味論的パーシングと補完的情報を提供できるか。
• RQ2 SketchとParsingをどのように効果的に統合して、それぞれのモダリティ固有の学習を損なうことなく補完的な強みを活用できるか。
• RQ3 Silhouetteを追加する（SketchGait++）は、さまざまな条件でのマルチモーダル歩行認識をさらに改善するか。
• RQ4 SketchとParsingを用いたマルチモーダル歩行性能におけるFusion段階と演算子の影響は何か。
• RQ5 遮蔽、衣服の変化、夜間条件などの困難な共変量下でSketchはどれほど頑健か。

主な発見

• エッジ検出器に基づくSketchは、シルエットベースの表現やいくつかのパーシング由来モダリティよりも優れており、意味ラベルなしの密な構造的手がかりの価値を示す。
• SketchとParsingは補完的で、データセット全体でどちらか一方のモダリティよりも一貫して優れている。
• 初期の浅いフュージョンを伴うデュアルブランチのSketchGaitは、横断モーダルの手がかりを捉えつつモダリティ固有の学習を維持することで大きな性能向上をもたらす。
• Silhouetteを取り入れてSketchGait++を形成するとさらなる改善をもたらし、いくつかの設定で最先端の結果を達成する。
• SUSTech1KではSketchGaitがSketch+Parsingで92.9% Rank-1、SketchGait++は93.1% Rank-1を達成し、他のマルチモーダル手法を上回る。CCPGではSilhouetteを含めたSketchGait++が顕著な gains を示す。