[論文レビュー] VersatileGait: A Large-Scale Synthetic Gait Dataset with Fine-GrainedAttributes and Complicated Scenarios

Huanzhang Dou, Wenhu Zhang+7 more|arXiv (Cornell University)|Jan 5, 2021

Gait Recognition and Analysis参考文献 49被引用数 11

ひとこと要約

本論文では、ゲームエンジンを用いて生成された大規模な合成歩行データセットであるVersatileGaitを紹介する。このデータセットには、11,000人の被験者について約100万個のシルエットシーケンスが含まれており、詳細な属性と複雑なシナリオが備わっている。このデータセットにより、ドメイン一般化、属性予測を伴う多タスク学習、および複数のピッチ角における耐性評価を実現し、事前学習後のCASIA-Bにおけるランク1正解率が1.1%向上した。

ABSTRACT

With the motivation of practical gait recognition applications, we propose to automatically create a large-scale synthetic gait dataset (called VersatileGait) by a game engine, which consists of around one million silhouette sequences of 11,000 subjects with fine-grained attributes in various complicated scenarios. Compared with existing real gait datasets with limited samples and simple scenarios, the proposed VersatileGait dataset possesses several nice properties, including huge dataset size, high sample diversity, high-quality annotations, multi-pitch angles, small domain gap with the real one, etc. Furthermore, we investigate the effectiveness of our dataset (e.g., domain transfer after pretraining). Then, we use the fine-grained attributes from VersatileGait to promote gait recognition in both accuracy and speed, and meanwhile justify the gait recognition performance under multi-pitch angle settings. Additionally, we explore a variety of potential applications for research.Extensive experiments demonstrate the value and effective-ness of the proposed VersatileGait in gait recognition along with its associated applications. We will release both VersatileGait and its corresponding data generation toolkit for further studies.

研究の動機と目的

• 詳細な属性と複雑な実世界シナリオを備えた大規模かつ多様な歩行データセットの不足を解消すること。
• 実世界データセットの限界（小規模、単純なアノテーション、視点変動の制限）を克服すること。
• 複数のピッチ角および複数の視点条件下でのドメイン一般化と耐障害性を実現すること。
• 属性誘導型歩行検索、多人数歩行認識、分離表現学習といった新規応用を探索すること。

提案手法

• ゲームエンジンを用いて、パラメータ化された属性（性別、衣服、アクセサリーなど）を備えた高精細な3D人体モデルを生成する。
• 多様な歩行アニメーションをシミュレートし、異なるボディタイプおよび歩行様式にリターゲティングする。
• 複数のカメラ角度と照明条件を備えた複雑で現実的なシーンをレンダリングし、実世界のばらつきを模擬する。
• 高品質なシルエットシーケンス（テクスチャなし、バイナリマスク）を収集し、実データとのドメインギャップを最小限に抑える。
• 各シーケンスに詳細な属性アノテーション（衣服、バッグ、歩行様式など）を統合し、多タスク学習を可能にする。
• 合成データセットを用いて深層学習モデルを事前学習し、その後、CASIA-Bなどの実世界ベンチマークで微調整する。

実験結果

リサーチクエスチョン

• RQ1 詳細な属性と複雑なシナリオを備えた大規模な合成歩行データセットは、実世界の歩行認識における一般化性能を向上させ得るか？
• RQ2 複数ピッチ角データは、歩行認識モデルの耐障害性および正解率にどのように影響するか？
• RQ3 属性予測を活用することで、予測された属性によるフィルタリングによって歩行検索を高速化できるか？
• RQ4 特定のピッチ角（例：60°）の欠落が、クロスピッチ認識におけるモデル性能に与える影響は何か？
• RQ5 VersatileGaitは、多人数歩行認識や分離表現学習といった新規応用を支援できるか？

主な発見

• VersatileGaitで事前学習した結果、SOTA手法のCASIA-Bにおけるランク1正解率が1.1%向上した。
• 60°ピッチ角データが欠落したモデルは著しく性能を低下させたことから、高角データの必要性が示された。
• 30°ピッチ角データが欠落したモデルは相対的に安定した性能を維持したため、中間角視点に対しては感受性が低いことが示された。
• 60°プローブ視点では、トレーニングデータが存在しても、クロスピッチ認識の正解率が著しく低下した。これは、幾何的歪みの大きな課題を示している。
• 属性誘導型の多タスク学習により、予測された属性によるフィルタリングによって、歩行検索が高速化された。
• 本データセットは、遮蔽下における多人数歩行認識や、歩行およびアクセサリー特徴の分離表現学習といった新規応用を支援できる。