[論文レビュー] Gait Recognition via Disentangled Representation Learning

Ziyuan Zhang, Luan Tran+5 more|arXiv (Cornell University)|Apr 9, 2019

Gait Recognition and AnalysisEngineering参考文献 42被引用数 19

ひとこと要約

本稿では、RGB動画において衣装や荷物などの外見的変動からポーズに基づく歩行特徴を分離するための、自己符号化器ベースの深層学習フレームワーク、GaitNetを提案する。新規の再構成損失関数および類似度損失関数を用い、時間的ポーズ特徴を多層LSTMで集約することで、CASIA-B、USF、および新規の正面視点歩行データセット（FVG）において最先端の性能を達成し、従来手法に比べて優れたロバスト性と計算効率を示した。

ABSTRACT

Gait, the walking pattern of individuals, is one of the most important biometrics modalities. Most of the existing gait recognition methods take silhouettes or articulated body models as the gait features. These methods suffer from degraded recognition performance when handling confounding variables, such as clothing, carrying and view angle. To remedy this issue, we propose a novel AutoEncoder framework to explicitly disentangle pose and appearance features from RGB imagery and the LSTM-based integration of pose features over time produces the gait feature. In addition, we collect a Frontal-View Gait (FVG) dataset to focus on gait recognition from frontal-view walking, which is a challenging problem since it contains minimal gait cues compared to other views. FVG also includes other important variations, e.g., walking speed, carrying, and clothing. With extensive experiments on CASIA-B, USF and FVG datasets, our method demonstrates superior performance to the state of the arts quantitatively, the ability of feature disentanglement qualitatively, and promising computational efficiency.

研究の動機と目的

• 衣装、荷物、視点角度などの混在する視覚的変動に起因する歩行認識の課題に対処すること。
• GEI やスケルトンベースの手法といった手作業特徴量の限界を克服すること。これらは外見の変化に敏感であるか、高い計算コストを要する。
• 生のRGB動画から、歩行に関連するポーズダイナミクスと静的外見要因を自動的に分離するエンドツーエンドの深層学習フレームワークの開発。
• 実世界の状況をよりよく評価できるよう、多様な変動を含む高精細な正面視点歩行データセット（FVG）を収集・公開すること。
• 分離表現学習が、より不変的かつ汎用性の高い歩行特徴をもたらし、認識精度と効率を向上させることを実証すること。

提案手法

• GaitNetは、ポーズ特徴と外見特徴の2つの並列ヘッドを持つCNNベースの自己符号化器であり、相互再構成損失により訓練され、分離性を保証する。
• 相互再構成損失により、あるフレームの外見と別のフレームのポーズを組み合わせて、後者を再構成できるようにすることで、分離性を強制する。
• ポーズ特徴が異なる条件（例：衣装、速度）下でも同じ被験者に対して類似したままになるよう、歩行類似度損失を導入し、不変性を促進する。
• 時間的歩行特徴は、分離されたポーズ特徴の系列を多層LSTMに通し、段階的アイデンティティ損失を追加することで、識別能を向上させる。
• 最終的な歩行表現は、動画レベル特徴間のコサイン類似度により得られ、効率的な動画同士のマッチングを可能にする。
• 本手法はCASIA-B、USF、および新たに収集された正面視点歩行データセット（FVG）で訓練・評価され、各構成要素の有効性を裏付けるアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層学習モデルは、手作業特徴量に依存せずに、RGB動画内の歩行関連ポーズダイナミクスと視覚的外見変動を効果的に分離できるか？
• RQ2 本稿で提案する分離フレームワークは、衣装、荷物、視点角度などの厳しい変動下において、最先端の手法と比較して認識精度とロバスト性に優れているか？
• RQ3 本手法は、多様な実世界の変動を含む新たに収集された正面視点歩行データセットを含め、異なるデータセット間でどれほど一般化可能か？
• RQ4 再構成損失と類似度損失の両方を備えた新規の自己符号化器アーキテクチャは、従来の手法と比較して、より不変的かつ識別性の高い歩行表現を生成するか？
• RQ5 特にリアルタイム応用を想定した場合、本手法の計算効率はポーズ推定ベースのベースラインと比較してどの程度優れているか？

主な発見

• CASIA-Bデータセットにおいて、GaitNetはCL変動（衣装変更）下でTDR@FAR 91.8%を達成し、次に優れた手法（LBネットワーク：61.6%）を大きく上回り、外見変動に対して強い不変性を示した。
• USFデータセットでは、プローブ視点変動下で99.5±0.2%の識別精度を達成し、報告されたLBネットワークの96.7%およびマルチタスクGANの94.7%を上回った。
• 新たに収集されたFVGデータセットでは、全変動条件下でTDR@FAR 1%として81.2%を達成し、GEI（5.8%）、GEINet（13.0%）、DCNN（7.9%）、LB（40.7%）をすべて上回った。
• GaitNetは優れた計算効率を示し、FVGデータセットでは1フレームあたり1.5 msの総推論時間を記録した。これは、ポーズ推定ベースのベースライン（PE-LSTM：22.5 ms/フレーム）を上回る。
• アブレーションスタディにより、相互再構成損失と歩行類似度損失の両方が分離性と性能に不可欠であることが確認され、いずれかを除去すると顕著な精度低下が生じた。
• 定性的な分析により、GaitNetがポーズダイナミクスと外見を成功裏に分離しており、極端な変化（荷物持参、異なる衣装）下でも生成された特徴が歩行運動に焦点を当てていることが確認された。