[論文レビュー] A model-based Gait Recognition Method based on Gait Graph Convolutional Networks and Joints Relationship Pyramid Mapping.

Na Li, Xinbo Zhao+1 more|arXiv (Cornell University)|Apr 27, 2020

Gait Recognition and Analysis参考文献 36被引用数 16

ひとこと要約

本稿では、2次元関節座標を用いて空間的・時間的特徴をグラフ畳み込みネットワークで抽出し、関節関係ピラミッドマッピングを用いて特徴を判別性の高い空間にマッピングする、新しいモデルベースの歩行認識手法JointsGaitを提案する。この手法は、Kinect Gait BiometryおよびCASIA-Bデータセットにおいて最先端の性能を達成し、視点や衣服の変化に対して特に優れた性能を示す。

ABSTRACT

Gait, as one of unique biometric features, has the advantage of being recognized from a long distance away, can be widely used in public security. Considering 3D pose estimation is more challenging than 2D pose estimation in practice , we research on using 2D joints to recognize gait in this paper, and a new model-based gait recognition method JointsGait is put forward to extract gait information from 2D human body joints. Appearance-based gait recognition algorithms are prevalent before. However, appearance features suffer from external factors which can cause drastic appearance variations, e.g. clothing. Unlike previous approaches, JointsGait firstly extracted spatio-temporal features from 2D joints using gait graph convolutional networks, which are less interfered by external factors. Secondly, Joints Relationship Pyramid Mapping (JRPM) are proposed to map spatio-temporal gait features into a discriminative feature space with biological advantages according to the relationship of human joints when people are walking at various scales. Finally, we design a fusion loss strategy to help the joints features to be insensitive to cross-view. Our method is evaluated on two large datasets, Kinect Gait Biometry Dataset and CASIA-B. On Kinect Gait Biometry Dataset database, JointsGait only uses corresponding 2D coordinates of joints, but achieves satisfactory recognition accuracy compared with those model-based algorithms using 3D joints. On CASIA-B database, the proposed method greatly outperforms advanced model-based methods in all walking conditions, even performs superior to state-of-art appearance-based methods when clothing seriously affect people's appearance. The experimental results demonstrate that JointsGait achieves the state-of-art performance despite the low dimensional feature (2D body joints) and is less affected by the view variations and clothing variation.

研究の動機と目的

• 実際の応用において推定が難しい3次元ポーズに依存せず、2次元関節座標に依存する歩行認識手法の開発。
• 人体関節の構造的関係を活用することで、衣服や視点の変化といった外部要因の影響を低減すること。
• 空間的・時間的歩行特徴を階層的で生物学的インスピレーションを受けて設計された特徴空間にマッピングすることで、特徴の判別性を向上させること。
• 新たな統合損失戦略を用いて、関節特徴の視点依存性を低減し、視点間の一般化性能を向上させること。

提案手法

• 歩行の時間的変化をモデル化したグラフとして人体関節を表現する、歩行用グラフ畳み込みネットワーク（G-CNN）を用いて、2次元関節座標から空間的・時間的歩行特徴を抽出する。
• 関節関係ピラミッドマッピング（JRPM）は、解剖学的近接性と歩行のダイナミクスに基づき、関節関係のマルチスケール表現を構築し、特徴の判別性を向上させる。
• JRPMモジュールは、異なる歩行スケールにおける生物学的関節接続性と運動パターンを反映した階層的特徴空間に歩行特徴をマッピングする。
• 異なるカメラ視点間の特徴を一致させるために、統合損失戦略が設計され、ドメインシフトの低減と視点変化下での一般化性能の向上が図られる。
• 分類損失と提案された統合損失の組み合わせを用いて、エンドツーエンドでモデルを訓練することで、精度と視点不変性の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 3次元ポーズに依存する手法と比較して、2次元関節座標にのみ依存する歩行認識モデルが最先端の性能を達成できるか？
• RQ2 提案された関節関係ピラミッドマッピング（JRPM）は、さまざまな歩行条件において特徴の判別性をどの程度向上できるか？
• RQ3 統合損失戦略は、歩行認識における視点変化に対する頑健性をどの程度向上させるか？
• RQ4 衣服の変化が著しい状況下で、JointsGaitは外見ベースの手法と比較してどの程度の性能を発揮するか？

主な発見

• Kinect Gait Biometryデータセットでは、2次元関節座標のみを用いてもJointsGaitは競争力のある識別精度を達成し、多数の3次元ベースのモデルベース手法を上回る。
• CASIA-Bデータセットでは、JointsGaitは全歩行条件において、最先端のモデルベース歩行認識手法を顕著に上回る。
• 極めて顕著な衣服の変化に対しても、JointsGaitは最先端の外見ベース歩行認識手法を識別精度の面で上回る。
• 提案された統合損失戦略は、視点差の影響を効果的に低減し、より頑健で視点不変な歩行特徴を生成する。
• G-CNNとJRPMの組み合わせにより、低次元の2次元関節特徴であっても、高い判別性能を実現できる。