[論文レビュー] RealGait: Gait Recognition for Person Re-Identification

Shaoxiong Zhang, Yunhong Wang+3 more|arXiv (Cornell University)|Jan 13, 2022

Gait Recognition and Analysis被引用数 15

ひとこと要約

本論文は、DukeMTMC-VideoReIDデータセットから抽出したシルエットを活用することで、実世界の監視環境を想定した新しい歩行認識手法RealGaitを提案する。本手法は、新たに構築されたBUAA-Duke-Gaitベンチマークにおいて、歩行特徴のみで78.24%のランク-1精度を達成した。これは、歩行が制約のない環境下での動画人物再識別性能の成功要因であることを示している。

ABSTRACT

Human gait is considered a unique biometric identifier which can be acquired in a covert manner at a distance. However, models trained on existing public domain gait datasets which are captured in controlled scenarios lead to drastic performance decline when applied to real-world unconstrained gait data. On the other hand, video person re-identification techniques have achieved promising performance on large-scale publicly available datasets. Given the diversity of clothing characteristics, clothing cue is not reliable for person recognition in general. So, it is actually not clear why the state-of-the-art person re-identification methods work as well as they do. In this paper, we construct a new gait dataset by extracting silhouettes from an existing video person re-identification challenge which consists of 1,404 persons walking in an unconstrained manner. Based on this dataset, a consistent and comparative study between gait recognition and person re-identification can be carried out. Given that our experimental results show that current gait recognition approaches designed under data collected in controlled scenarios are inappropriate for real surveillance scenarios, we propose a novel gait recognition method, called RealGait. Our results suggest that recognizing people by their gait in real surveillance scenarios is feasible and the underlying gait pattern is probably the true reason why video person re-idenfification works in practice.

研究の動機と目的

• 背景の雑音、複数人の存在、不規則な歩行パターンが存在する制御されたデータセットとは対照的な実世界の監視応用とのギャップを埋めるため。
• 動画人物再識別における高い性能が、衣服の外見ではなく歩行特徴に起因するかどうかを調査するため。
• 歩行認識と人物再識別の公平な比較を可能にするために、大規模な動画Re-IDデータセットからシルエットを抽出して新ベンチマークデータセットBUAA-Duke-Gaitを構築するため。
• 既存手法が失敗する制約のない現実世界の状況でも良好に動作する、頑健な歩行認識モデルを開発するため。

提案手法

• 背景差分法とモーションセグメンテーションを用いてDukeMTMC-VideoReIDデータセットからシルエットを抽出し、BUAA-Duke-Gaitデータセットを構築した。
• 時間的歩行シーケンスを3次元畳み込みニューラルネットワーク（3D CNN）アーキテクチャで処理する、バイナリシルエットベースの歩行認識モデルを提案した。
• マルチスケール特徴抽出と時間的プーリングを適用し、歩行シーケンスからの判別的表現学習を強化した。
• グレースケール画像に量子化スキームを適用して、外見情報の影響を評価し、1から16のビンまで変化させながら最小限の外見情報要件を評価した。
• 歩行特徴と完全カラーの人物再識別を比較する実験を実施し、歩行の貢献度を分離した。
• 明るさと色の影響を評価するためのアブレーションスタディを実施し、特に照明条件の変化や遮蔽状況下での認識性能に注目した。

実験結果

リサーチクエスチョン

• RQ1 制御されたデータセットから実世界の監視動画に移行する際、歩行認識性能はどの程度低下するか？
• RQ2 制約のない環境下で、歩行特徴が動画人物再識別性能の成功にどの程度寄与しているか？
• RQ3 衣服の外見が信頼できない実際の監視状況において、歩行認識のみで信頼性の高い人物識別が可能か？
• RQ4 有効な歩行ベースの識別に必要な最小限の外見情報（例：グレースケールビン数）は何か？
• RQ5 視点の変化や遮蔽に対して、歩行特徴と外見特徴のどちらがより頑健か？

主な発見

• 提案手法RealGaitは、BUAA-Duke-Gaitデータセットにおいて78.24%のランク-1精度を達成し、制御されたデータセットで学習された最先端の歩行認識手法を顕著に上回った。
• 同じデータに対して完全カラーの人物再識別を実施したところ94%のランク-1精度を達成した。これは、外見情報が歩行特徴のみに加えて性能向上に寄与していることを示している。
• グレースケールビンをたった3つに減らしても、歩行認識の精度は84.94%に達した。これは、最小限の外見情報でも信頼性の高い識別が可能であることを示している。
• 完全カラーとバイナリシルエット認識の間の性能差は約3%であり、歩行特徴が非常に判別力が高く、頑健であることが示唆された。
• 歩行特徴は、大きな視点の違いに対しても効果的であり、外見情報が曖昧または一貫性がない状況でも信頼性を保った。
• 本研究により、実世界の設定下での動画人物再識別性能の成功要因として、歩行が主因である可能性が示された。これは、衣服の外見が主な特徴であるという仮定に疑問を呈するものである。