[論文レビュー] Progressive Feature Learning for Realistic Cloth-Changing Gait Recognition

Xuqian Ren, Saihui Hou+3 more|arXiv (Cornell University)|Jul 24, 2022

Gait Recognition and Analysis被引用数 4

ひとこと要約

本論文は、非重複サブデータセットを伴うクロスビューおよびクロスコートの歩行認識を扱う、実用的で革新的なRealistic Cloth-Changing Gait Recognition (RCC-GR)タスクを導入し、段階的特徴学習フレームワークを提案する。この手法は、段階的マッピングと段階的不確実性を用いて、順次的にクロスビューおよびクロスコート特徴を学習し、CL条件下でCASIA-BN-RCCでは最大48.5%、OUMVLP-RCCでは最大55.6%のランク1精度向上を達成した。

ABSTRACT

Gait recognition is instrumental in crime prevention and social security, for it can be conducted at a long distance to figure out the identity of persons. However, existing datasets and methods cannot satisfactorily deal with the most challenging cloth-changing problem in practice. Specifically, the practical gait models are usually trained on automatically labeled data, in which the sequences' views and cloth conditions of each person have some restrictions. To be concrete, the cross-view sub-dataset only has normal walking condition without cloth-changing, while the cross-cloth sub-dataset has cloth-changing sequences but only in front views. As a result, the cloth-changing accuracy cannot meet practical requirements. In this work, we formulate the problem as Realistic Cloth-Changing Gait Recognition (abbreviated as RCC-GR) and we construct two benchmarks: CASIA-BN-RCC and OUMVLP-RCC, to simulate the above setting. Furthermore, we propose a new framework called Progressive Feature Learning that can be applied with off-the-shelf backbones to improve their performance in RCC-GR. Specifically, in our framework, we design Progressive Mapping and Progressive Uncertainty to extract cross-view features and then extract cross-cloth features on the basis. In this way, the feature from the cross-view sub-dataset can first dominate the feature space and relieve the uneven distribution caused by the adverse effect from the cross-cloth sub-dataset. The experiments on our benchmarks show that our framework can effectively improve recognition performance, especially in the cloth-changing conditions.

研究の動機と目的

• 実世界の監視において、人物が異なる視点で異なる服を着ている状況における歩行認識の現実的課題に対処すること。これは一般的ではあるが、まだ十分に検討されていない問題である。
• 実際の状況で見られる非重複するクロスビューおよびクロスコートのデータ分布を模倣する2つの新しいベンチマーク、CASIA-BN-RCCおよびOUMVLP-RCCを構築すること。
• 市販の歩行認識バックボーンが、現実的なコートチェンジ条件において効果的に一般化できるようにするフレームワークを開発すること。
• クロスビューとクロスコートサブデータセット間の不均一なクラス内多様性が引き起こす特徴空間の歪みを軽減すること。

提案手法

• 2段階の段階的マッピングモジュールを提案：まずクロスビューデータを用いて特徴空間を拡張するクロスビュー・マッピング（CVM）を実行し、その後クロスコート表現を学習するクロスコート・マッピング（CCM）を実行する。
• 各歩行シーケンスをガウス分布（平均μと分散σ²）としてモデル化する段階的不確実性を導入し、訓練の安定性と一般化性能を向上させる。
• 不確実性を考慮したトリプレット損失（ℒtv, ℒtc）を採用し、容易なクロスビューサンプルには高い勾配重みを割り当て、ハードなクロスコートサンプルでの過学習を低減する。
• ガウス分布からの再サンプリングを用いて追加の埋め込みを生成し、特徴のロバスト性と識別性を向上させる。
• GaitSetなどの市販のバックボーンを用いてフレームワークを適用し、アーキテクチャの大幅な見直しを伴わずに即座に改善が得られるプラグアンドプレイな性能向上を実現する。
• クロスビューとクロスコートサブデータセットそれぞれに別個のトリプレット損失ℒnvとℒncを用いることで、最適化過程での負の干渉を回避する。

実験結果

リサーチクエスチョン

• RQ1 非重複データを伴う現実的なコートチェンジ条件下で、2段階の特徴学習戦略が歩行認識性能を効果的に向上させることができるか？
• RQ2 歩行シーケンスを点ではなくガウス分布としてモデル化することで、クロスコート状況におけるモデルの一般化性能にどのような影響を与えるか？
• RQ3 段階的学習が、クロスビューとクロスコートサブデータセット間の不均衡なクラス内多様性によって引き起こされる特徴空間の歪みをどの程度軽減できるか？
• RQ4 同じバックボーンと訓練プロトコル下で、提案フレームワークは標準的な1段階特徴学習を上回る性能を示すか？

主な発見

• 段階的マッピング戦略により、CASIA-BN-RCCでは48.5%、OUMVLP-RCCでは55.6%のCL精度に向上し、1段階ベースラインを上回った。
• 再サンプリングを伴う段階的不確実性は、CASIA-BN-RCCで51.6%、OUMVLP-RCCで57.3%のCL精度に向上させ、不確実性を考慮した訓練の有効性を示した。
• CCMにクロスコート分散（σc）のみを用いた場合、CL精度は50.7%に達したが、CVMとCCMを組み合わせた場合に50.3%に向上し、完全な不確実性モデリングの重要性を示した。
• アブレーションスタディにより、性能向上はパrameter数の増加ではなく、2段階モジュールとトリプレット設計に起因することが確認された。
• フレームワークはCASIA-BN-RCCでNMで90.2%、BGで83.1%のランク1精度を達成し、すべてのサブデータセットにわたる強力な一般化性能を示した。
• 提案されたベンチマークであるCASIA-BN-RCCおよびOUMVLP-RCCは、実世界のコートチェンジ歩行認識を効果的に模倣でき、公平で現実的な評価を可能にした。