[論文レビュー] RGait-NET: An Effective Network for Recovering Missing Information from Occluded Gait Cycles

Dhritimaan Das, Ayush Agarwal+2 more|arXiv (Cornell University)|Dec 14, 2019

Gait Recognition and Analysis参考文献 38被引用数 7

ひとこと要約

本論文では、VGG-16バックボーンを用いて部分的または完全的遮蔽を伴う歩行シーケンスにおける遮蔽フレームを検出する深層学習フレームワーク、RGait-NETを提案する。また、Dice係数と交差エントロピー損失を用いて訓練されたマルチオブジェクティブLSTMネットワークにより、欠落したシルエットを再構築する。本手法は、挑戦的なTUM-IITKGPデータセットにおいて94.28%のRank-1認識精度を達成し、重度の遮蔽下でも、先行手法を25%以上も上回る高い精度を実現した。

ABSTRACT

Gait of a person refers to his/her walking pattern, and according to medical studies gait of every individual is unique. Over the past decade, several computer vision-based gait recognition approaches have been proposed in which walking information corresponding to a complete gait cycle has been used to construct gait features for person identification. These methods compute gait features with the inherent assumption that a complete gait cycle is always available. However, in most public places occlusion is an inevitable occurrence, and due to this, only a fraction of a gait cycle gets captured by the monitoring camera. Unavailability of complete gait cycle information drastically affects the accuracy of the extracted features, and till date, only a few occlusion handling strategies to gait recognition have been proposed. But none of these performs reliably and robustly in the presence of a single cycle with incomplete information, and because of this practical application of gait recognition is quite limited. In this work, we develop deep learning-based algorithm to accurately identify the affected frames as well as predict the missing frames to reconstruct a complete gait cycle. While occlusion detection has been carried out by employing a VGG-16 model, the model for frame reconstruction is based on Long-Short Term Memory network that has been trained to optimize a multi-objective function based on dice coefficient and cross-entropy loss. The effectiveness of the proposed occlusion reconstruction algorithm is evaluated by computing the accuracy of the popular Gait Energy Feature on the reconstructed sequence. Experimental evaluation on public data sets and comparative analysis with other occlusion handling methods verify the effectiveness of our approach.

研究の動機と目的

• 監視環境における部分的または完全的遮蔽下での歩行認識という、極めて重要な課題に取り組むこと。この状況では、完全な歩行サイクルがほとんど得られない。
• 歩行パターンの特定の分布を仮定するか、不完全なデータに依存する既存手法の限界を克服すること。
• 単一サイクルの歩行シーケンスにおける欠落フレームの検出と再構築を、エンドツーエンドの深層学習パイプラインとして構築すること。
• 頻繁に遮蔽が発生する実世界環境における歩行認識システムの実用的導入を可能にすること。
• 外部のサイクルマッチングや平均化に依存せずに、高品質な歩行サイクルを再構築することで、遮蔽付きシーケンスの認識精度を向上させること。

提案手法

• シルエットの品質と空間的一致性に基づき、フレームを遮蔽あり／なしに分類するため、事前学習済みのVGG-16ネットワークを用いる。
• 歩行を時系列としてモデル化することで、LSTMネットワークを用いて欠落したシルエットを再構築する。
• セグメンテーションの正確性と境界の精密さの両立を図るため、Dice係数と交差エントロピーの両方を組み合わせたマルチオブジェクティブ損失関数でLSTMを最適化する。
• カスタムPythonスクリプトを用いてCASIA-Bデータセットに遮蔽を合成し、検出および再構築の両タスクに適した多様な訓練データを生成する。
• 公的ベンチマークで認識性能を評価するために、再構築されたシーケンスから抽出したGait Energy Image (GEI) 特徴量を用いる。
• TUM-IITKGPデータセットを用いてモデルを訓練および検証し、実世界の静的および動的遮蔽を含む環境下での頑健性と一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのアプローチは、単一の歩行サイクルシーケンスにおける静的および動的遮蔽を効果的に検出できるか？
• RQ2 LSTMベースの生成モデルは、遮蔽なしフレームのみを入力として、高精度な再構築を可能にするか？
• RQ3 本手法で提案されたマルチオブジェクティブ損失関数は、標準的な交差エントロピー損失やDice係数単体の訓練に比べ、再構築品質を向上させるか？
• RQ4 認識精度の観点から、本手法は最先端の遮蔽対処技術と比較して優れているか？
• RQ5 異なる重み初期化や変動する遮蔽度に対して、モデルは頑健であるか？

主な発見

• RGait-NETは、TUM-IITKGPデータセットにおいて94.28%のRank-1認識精度を達成し、先行手法を25%以上も上回った。
• モデルは高い頑健性を示し、4つの独立して訓練されたモデル間で標準偏差がわずか3.50%にとどまり、異なる初期化下でも安定性が確認された。
• すべての順位（Rank 1で94.28%、Rank 5で97.68%）で高い認識精度が安定して維持されており、検索レベル全体にわたる強力な一般化性能を示した。
• Dice係数と交差エントロピーの両方を組み合わせたマルチオブジェクティブ損失関数は、単一損失の代替手法よりも優れた再構築品質をもたらした。
• 本手法は静的および動的遮蔽の両方を効果的に処理でき、ガウスフィッティングや平均化ベースの手法が失敗するような高遮蔽度の状況でも有効であった。
• 遮蔽検出および再構築用の訓練済みモデル、コード、データは、提供されたリンクを通じて公開されており、再現性およびベンチマークのための利用が可能である。