[論文レビュー] Gait Recognition in the Wild with Dense 3D Representations and A Benchmark

Jinkai Zheng, Xinchen Liu+4 more|arXiv (Cornell University)|Apr 6, 2022

Gait Recognition and Analysis被引用数 10

ひとこと要約

本稿では、非制約的環境における識別性能の向上を目的として、密な3次元SMPLボディメッシュを用いた新しい3次元歩行認識フレームワーク、SMPLGaitを提案する。本研究では、39台のカメラから得られた4,000人の被験者と25,000件のシーケンスを含む、初めての大規模な3次元歩行データセットGait3Dを構築し、3次元表現が2次元手法に比べて顕著に優れていることを実証した。特に、視点間および実世界のシナリオにおいて顕著な性能向上が得られた。

ABSTRACT

Existing studies for gait recognition are dominated by 2D representations like the silhouette or skeleton of the human body in constrained scenes. However, humans live and walk in the unconstrained 3D space, so projecting the 3D human body onto the 2D plane will discard a lot of crucial information like the viewpoint, shape, and dynamics for gait recognition. Therefore, this paper aims to explore dense 3D representations for gait recognition in the wild, which is a practical yet neglected problem. In particular, we propose a novel framework to explore the 3D Skinned Multi-Person Linear (SMPL) model of the human body for gait recognition, named SMPLGait. Our framework has two elaborately-designed branches of which one extracts appearance features from silhouettes, the other learns knowledge of 3D viewpoints and shapes from the 3D SMPL model. In addition, due to the lack of suitable datasets, we build the first large-scale 3D representation-based gait recognition dataset, named Gait3D. It contains 4,000 subjects and over 25,000 sequences extracted from 39 cameras in an unconstrained indoor scene. More importantly, it provides 3D SMPL models recovered from video frames which can provide dense 3D information of body shape, viewpoint, and dynamics. Based on Gait3D, we comprehensively compare our method with existing gait recognition approaches, which reflects the superior performance of our framework and the potential of 3D representations for gait recognition in the wild. The code and dataset are available at https://gait3d.github.io.

研究の動機と目的

• 非制約的・実世界のシナリオにおける歩行認識における3次元表現の欠如を解消すること。
• 視点・形状・動的情報を失う2次元表現（例：シルエット、スケルトン）の限界を克服すること。
• 2次元外観特徴と3次元メッシュベース特徴を統合する包括的なディーブラーニングフレームワークを構築し、より高い耐障害性を実現すること。
• 密な3次元表現の研究を可能にするために、大規模かつ実世界の3次元歩行データセットを構築すること。
• 視点間およびドメイン一般化の設定において、3次元表現が2次元ベースラインを上回ることを実証すること。

提案手法

• 2次元シルエットから外観特徴を処理するブランチと、3次元SMPLメッシュから3次元視点および形状知識を処理するブランチを備えた二重ブランチニューラルネットワークフレームワーク、SMPLGaitを提案する。
• 異なる3次元視点に対応して外観特徴を正規化するための空間的変換行列を学習する3次元空間変換ネットワーク（3D-STN）を導入する。
• 最先端の3次元人体メッシュ推定技術を用いて、動画フレームから回復された3次元SMPLモデルを活用する。
• 人物再識別を最適化するため、特徴埋め込みをトリプルット損失を用いてエンドツーエンドで訓練する。
• Gait3Dデータセットから得られる2次元シルエット、3次元メッシュ、2次元キーポイントを併用したマルチモodalな監視を統合して訓練する。
• 遮蔽や視点変化に対する耐性を高めるために、データ拡張および正規化戦略を適用する。

Figure 1 : Different gait representations of the same person from two viewpoints. Compared with silhouettes and skeletons, 3D meshes retain the shapes and viewpoints of the human body in the 3D space. (Best viewed in color.)

実験結果

リサーチクエスチョン

• RQ1 2次元表現と比較して、SMPLメッシュのような密な3次元表現は、非制約的・実世界の環境における歩行認識性能を顕著に向上させるか？
• RQ2 3次元視点および形状情報は、多様なカメラアングルに対応して特徴を正規化し、視点間マッチングを向上させるためにどの程度活用可能か？
• RQ3 提案されたSMPLGaitフレームワークは、最先端の2次元歩行認識モデルと比較して、精度およびドメイン一般化性能において優れているか？
• RQ4 大規模かつ実世界の3次元歩行データセット（Gait3D）を用いることで、モデルの性能および一般化能力にどのような影響を与えるか？
• RQ5 2次元と3次元表現の統合は、遮蔽や低品質なシルエットといった困難なシナリオにおける認識精度をさらに向上させるか？

主な発見

• SMPLGaitフレームワークは、OU-MVLPベンチマークで97.84%のRank-1精度、CASIA-Bで66.71%のRank-1精度を達成し、Gait3Dデータセットからの優れた一般化性能を示した。
• Gait3Dで事前学習したモデルは、GREWで学習したモデルよりも顕著に優れた一般化性能を示し、ID数が少ない（3,000 vs. 20,000）にもかかわらず、GREWで43.86%のRank-1精度を達成した。これは、優れたドメイン一般化性能を示している。
• ドメイン間評価では、ラボ内データセット（CASIA-B、OU-LP）で学習したモデルはGait3Dでは著しく性能が低く、それぞれ6.90%および6.10%のRank-1精度にとどまり、大きなドメインギャップが確認された。
• SMPLGaitの3次元メッシュブランチにより、低品質なシルエットや遮蔽状況下でも正しくマッチングが可能であることが、Gait3Dにおける定性的な結果で示された。
• 2次元と3次元表現の統合により、単独での使用よりも高い性能が得られ、両者の相補性が確認された。
• 困難なケーススタディでは、類似した衣服や体形が主な誤り要因であることが判明し、今後の研究における重要な制限要因であることが示された。

Figure 2 : The architecture of the SMPLGait framework for 3D gait recognition in the wild.