[論文レビュー] JointsGait:A model-based Gait Recognition Method based on Gait Graph Convolutional Networks and Joints Relationship Pyramid Mapping

Na Li, Xinbo Zhao+1 more|arXiv (Cornell University)|Apr 27, 2020

Gait Recognition and AnalysisEngineering被引用数 19

ひとこと要約

JointsGaitは、2次元関節座標とgaitグラフ畳み込みニューラルネットワーク（G-CNN）を用いて空間的・時間的特徴を抽出し、関節関係ピラミッドマッピング（JRPM）によりマルチスケールの関節関係をモデル化する、新しいモデルベースの歩行認識手法を提案する。この手法は、Kinect GaitおよびCASIA-Bデータセットにおいて最先端の性能を達成しており、3次元ポーズ推定を必要とせず、2次元関節座標のみを用いながらも、視点や衣服の変化に対して強い耐性を示す。

ABSTRACT

Gait, as one of unique biometric features, has the advantage of being recognized from a long distance away, can be widely used in public security. Considering 3D pose estimation is more challenging than 2D pose estimation in practice , we research on using 2D joints to recognize gait in this paper, and a new model-based gait recognition method JointsGait is put forward to extract gait information from 2D human body joints. Appearance-based gait recognition algorithms are prevalent before. However, appearance features suffer from external factors which can cause drastic appearance variations, e.g. clothing. Unlike previous approaches, JointsGait firstly extracted spatio-temporal features from 2D joints using gait graph convolutional networks, which are less interfered by external factors. Secondly, Joints Relationship Pyramid Mapping (JRPM) are proposed to map spatio-temporal gait features into a discriminative feature space with biological advantages according to the relationship of human joints when people are walking at various scales. Finally, we design a fusion loss strategy to help the joints features to be insensitive to cross-view. Our method is evaluated on two large datasets, Kinect Gait Biometry Dataset and CASIA-B. On Kinect Gait Biometry Dataset database, JointsGait only uses corresponding 2D coordinates of joints, but achieves satisfactory recognition accuracy compared with those model-based algorithms using 3D joints. On CASIA-B database, the proposed method greatly outperforms advanced model-based methods in all walking conditions, even performs superior to state-of-art appearance-based methods when clothing seriously affect people's appearance. The experimental results demonstrate that JointsGait achieves the state-of-art performance despite the low dimensional feature (2D body joints) and is less affected by the view variations and clothing variation.

研究の動機と目的

• 3次元ポーズの推定が実用的に困難であるのに対し、2次元関節座標を用いることで歩行認識手法を開発すること。
• 外的要因（衣服や視点の変化）への感受性を低減するため、外観ではなく関節間の関係を用いて歩行をモデル化すること。
• JRPMを用いて空間的・時間的歩行特徴を階層的かつ生物学的に妥当な表現にマッピングすることで、特徴の識別能を向上させること。
• 複雑な3次元ポーズ推定に依存せずに、低次元の2次元関節特徴で高い認識精度を達成すること。

提案手法

• 2次元人体関節座標系列から空間的・時間的特徴を抽出するために、gaitグラフ畳み込みニューラルネットワーク（G-CNN）を用いる。
• 関節関係ピラミッドマッピング（JRPM）は、解剖学的制約と歩行ダイナミクスに基づいて、関節関係のマルチスケール表現を構築する。
• JRPMモジュールは、生物学的妥当性とスケール不変パターンを保持する識別的な空間への特徴マッピングを実現する。
• 異なる視点間の特徴を統合するためのファージョン損失戦略を導入し、クロスビュー一般化性能を向上させる。
• 分類損失と対照的損失の組み合わせを用いて、エンドツーエンドでモデルを学習させ、特徴の頑健性を向上させる。
• 本手法は2次元関節座標のみを処理し、3次元ポーズ推定の必要がない。

実験結果

リサーチクエスチョン

• RQ1 3次元ポーズ推定を必要とせず、2次元関節座標のみを用いても、歩行認識を効果的に行うことができるか？
• RQ2 視点や衣服の変化に対して頑健であるように、空間的・時間的歩行特徴をどのようにモデル化できるか？
• RQ3 関節関係の階層的・ピラミッドベースの表現は、歩行認識における特徴の識別能を向上させることができるか？
• RQ4 2次元関節ベースの手法は、最先端の外観ベースおよびモデルベースの歩行認識手法をどの程度上回ることができるか？
• RQ5 ファージョン損失戦略は、歩行特徴のクロスビュー一般化性能をどの程度向上させるか？

主な発見

• Kinect Gait Biometry Datasetでは、3次元関節に依存するモデルベース手法よりも、2次元関節座標のみを用いたJointsGaitが競争力のある認識精度を達成している。
• CASIA-Bデータセットでは、すべての歩行条件下で、JointsGaitが高度なモデルベース歩行認識手法を顕著に上回っている。
• 衣服の変化が外観特徴に著しい影響を与える状況下でも、JointsGaitは最先端の外観ベース手法を上回っている。
• ファージョン損失戦略は、視点変化への感受性を効果的に低減し、クロスビュー特徴の整合性を向上させている。
• G-CNNとJRPMの組み合わせにより、2次元関節の低次元入力にもかかわらず、高い識別力が実現されている。
• 提案手法は、衣服や視点角度といった外部要因に対して強く、実世界の歩行認識における実用的妥当性が確認された。