[論文レビュー] Associated Spatio-Temporal Capsule Network for Gait Recognition

Aite Zhao, Junyu Dong+3 more|arXiv (Cornell University)|Jan 7, 2021

Gait Recognition and Analysis参考文献 37被引用数 9

ひとこと要約

本稿では、新しい再帰的メモリユニットと関係性層を組み合わせたスパティオテンポラル特徴抽出を実装し、ダイナミックルーティングとベイジアン意思決定を経て、マルチモーダルな歩行認識のための関連スパティオテンポラルカプセルネットワーク（ASTCapsNet）を提案する。このモデルは、ベンチマーク歩行データセット上で最高99.69%の正確性を達成し、正常および病理的歩行の分類において優れた性能を示している。

ABSTRACT

It is a challenging task to identify a person based on her/his gait patterns. State-of-the-art approaches rely on the analysis of temporal or spatial characteristics of gait, and gait recognition is usually performed on single modality data (such as images, skeleton joint coordinates, or force signals). Evidence has shown that using multi-modality data is more conducive to gait research. Therefore, we here establish an automated learning system, with an associated spatio-temporal capsule network (ASTCapsNet) trained on multi-sensor datasets, to analyze multimodal information for gait recognition. Specifically, we first design a low-level feature extractor and a high-level feature extractor for spatio-temporal feature extraction of gait with a novel recurrent memory unit and a relationship layer. Subsequently, a Bayesian model is employed for the decision-making of class labels. Extensive experiments on several public datasets (normal and abnormal gait) validate the effectiveness of the proposed ASTCapsNet, compared against several state-of-the-art methods.

研究の動機と目的

• 既存の歩行認識手法が空間的特徴または時間的特徴に限定的であるという限界を解消すること。
• 歩行シーケンスにおける空間的、時間的、構造的関係を統合的にモデル化可能なエンドツーエンドのディーブラーニングモデルの開発。
• RGB、スケルトン、深度などのマルチモーダルセンサデータをカプセルベースアーキテクチャを用いて活用し、歩行認識性能の向上。
• 本手法の有効性を、正常および病理的歩行を含む多様な公開歩行データセット上で評価すること。
• 歩行分析におけるクロスビュー認識および教師あり／教師なし学習への将来的な拡張の探求。

提案手法

• 低レベル特徴抽出器は、新しい拡張可能な再帰的メモリユニットと畳み込み層を用い、歩行シーケンス内のスパティオテンポラルダイナミクスを捉える。
• 高レベル特徴抽出器は、プライマリーカプセル層、カプセル間の注目メカニズムを実装する関係性層、およびダイナミックルーティングを用いたデジタルカプセル層を採用し、身体部位間の階層的関係をモデル化する。
• 関係性層はカプセル間の相互作用を計算し、身体部位間の構造的依存関係を符号化することで、特徴表現の向上を図る。
• 意思決定層にベイジアンモデルを統合し、特徴の品質を評価し、分類の信頼性を向上させる。
• 4つのソフトマックス分類器をネットワークの異なる層に配置し、統合損失最適化により、全ネットワークをエンドツーエンドで学習させる。
• 次元削減後の特徴クラスタリングおよび分離性を評価するためにt-SNE可視化を適用する。

実験結果

リサーチクエスチョン

• RQ1 カプセルネットワークは、身体部位間の構造的関係を保持しつつ、歩行シーケンスにおける空間的および時間的特徴を効果的にモデル化できるか？
• RQ2 再帰的メモリユニットと関係性層の統合は、マルチモーダルな歩行認識における特徴表現をどのように向上させるか？
• RQ3 提案手法ASTCapsNetは、多様な歩行データセットにおいて、既存の最先端手法をどの程度上回るか？
• RQ4 ASTCapsNetが学習する低レベル特徴と高レベル特徴は、識別力およびクラス分離性においてどのように比較されるか？
• RQ5 クロスビュー認識および教師なし／半教師あり学習の文脈において、ASTCapsNetの潜在的な改善策は何か？

主な発見

• ASTCapsNetはCASIA Gaitデータセットで最高99.69%の分類正確性を達成し、既存の最先端手法を上回った。
• UNITOデータセットでは99.65%の正確性を達成し、異なる歩行データソース間での優れた一般化性能を示した。
• t-SNEによる次元削減後に、ASTCapsNetが抽出した高レベル特徴は明確なクラス境界と高いクラス内コンパクト性を示し、有効な識別的学習が行われたことを示した。
• すべての前段層からの特徴を集約するソフトマックス層4が最高の性能を示し、深く階層的な表現の重要性を裏付けた。
• 関係性層が性能向上に顕著に寄与しており、ソフトマックス3の優れた結果から、部位間関係のモデル化におけるその役割が検証された。
• ベイジアン意思決定層により、モデルの信頼性と特徴品質の評価が向上し、全体の分類のロバスト性が向上した。