[論文レビュー] Human Gait Recognition using Deep Learning: A Comprehensive Review

Muhammad Imran Sharif, Mehwish Mehmood+2 more|arXiv (Cornell University)|Sep 18, 2023

Gait Recognition and Analysis被引用数 6

ひとこと要約

この包括的なレビューでは、深層学習（DL）を用いた歩行認識（GR）を調査し、CNN、LSTM、GRUなどのアーキテクチャをCASIA B や TUM GAID などのデータセットで分析している。特徴融合技術を用いることで、CASIA B で98％を超える最先端の正確性を達成しており、耐障害性、プライバシー、一般化性能に関する主な課題を特定している。

ABSTRACT

Gait recognition (GR) is a growing biometric modality used for person identification from a distance through visual cameras. GR provides a secure and reliable alternative to fingerprint and face recognition, as it is harder to distinguish between false and authentic signals. Furthermore, its resistance to spoofing makes GR suitable for all types of environments. With the rise of deep learning, steadily improving strides have been made in GR technology with promising results in various contexts. As video surveillance becomes more prevalent, new obstacles arise, such as ensuring uniform performance evaluation across different protocols, reliable recognition despite shifting lighting conditions, fluctuations in gait patterns, and protecting privacy.This survey aims to give an overview of GR and analyze the environmental elements and complications that could affect it in comparison to other biometric recognition systems. The primary goal is to examine the existing deep learning (DL) techniques employed for human GR that may generate new research opportunities.

研究の動機と目的

• 研究者および実務家向けに、深層学習技術が応用された歩行認識（GR）に向けた体系的な概要を提供すること。
• 照明の変化、遮蔽、歩行のばらつきなどの環境的・技術的要因がGR性能に与える影響を分析すること。
• 標準化された評価プロトコルの欠如や実世界での耐障害性の低さといった、現在の研究におけるギャップを特定すること。
• 視覚的および音声データを組み合わせたマルチモーダルGRの新たな機会、および歩行異常検出の医療応用を強調すること。
• ベンチマークデータセットを用いたDLモデルのパフォーランスを評価し、最良のアーキテクチャおよび統合戦略を同定すること。

提案手法

• 2015年から2022年までのDLベースのGRに関する40件以上の最近の研究を体系的文献レビュー法を用いて調査。
• 特徴抽出、分類、統合の3つのカテゴリーに分類し、CNN、RNN（LSTM、GRU）、ハイブリッドモデルに重点を置いたGR手法の分類。
• CASIA B、TUM GAID、HMDB-51、UCF-101、NTU RGB+D などの標準データセットを用いたパフォーマンス評価。
• VGG-16、改良版モths-flame最適化、SVMを用いたしきい値ベースの特徴統合などのモデルアーキテクチャの分析。
• 視覚角度（0°、18°、36°など）および状態（荷物持参、異なる床面）ごとの認識正確性の比較。
• データ拡張、背景除去、シルエットベースの歩行表現がモデルの一般化性能向上に果たす役割の評価。

実験結果

リサーチクエスチョン

• RQ1 異なるデータセットおよび条件下で、歩行認識に最も効果的な深層学習アーキテクチャは何か？
• RQ2 視覚角度、歩行速度、服装、荷物持参の変化が、DLベースのGRシステムの性能にどのように影響するか？
• RQ3 実世界の監視環境において、耐障害性があり一般化可能な歩行認識を達成するための主な課題は何か？
• RQ4 視覚的および音声的データなどのマルチモーダルデータを統合することで、歩行認識の正確性と偽装検出能力はどのように向上するか？
• RQ5 GR研究におけるデータの可用性、アノテーションの正解、評価基準の標準化の現状における制限要因は何か？

主な発見

• 特徴統合とSVMベースの分類を用いることで、CASIA B データセットで98％を超える最先端の正確性を達成している。
• 複数視点データ（例：0°、18°、36°、90°）を用いて学習したモデルは耐障害性が向上し、視点ごとの正確性は95.2％から96.6％の範囲にのぼる。
• CNNとRNN（例：GRU、LSTM）を組み合わせたハイブリッドアーキテクチャは、歩行サイクルの時系列モデリングにおいて単体モデルを上回る性能を示す。
• モths-flame最適化などの改良版最適化手法を用いることで、TUM GAID で98.60％の認識正確性が達成された。
• 空間的、時間的、運動ベースの複数の特徴を統合することで、単一モodalアプローチに比べて高い正確性が得られる。
• 制御された環境下では高い正確性を達成しているが、照明の変化、遮蔽、標準化されたベンチマークの欠如といった要因により、実世界への展開は依然として制限されている。