[論文レビュー] HEATGait: Hop-Extracted Adjacency Technique in Graph Convolution based Gait Recognition

Md. Bakhtiar Hasan, Tasnim Ahmed+1 more|arXiv (Cornell University)|Apr 21, 2022

Gait Recognition and Analysis参考文献 23被引用数 7

ひとこと要約

本稿では、マルチスケールの歩行特徴学習におけるバイアス加重問題を軽減するため、ホップ抽出技術を用いてよりバランスの取れた隣接行列を構築する、新しい歩行認識フレームワークであるHEATGaitを提案する。ポーズ推定、前処理、およびResGCNベースのアーキテクチャを統合することで、CASIA-Bデータセットにおいて、通常歩行条件下で93.3%、背景変動条件下で87.5%の精度を達成し、最先端の性能を実現した。

ABSTRACT

Biometric authentication using gait has become a promising field due to its unobtrusive nature. Recent approaches in model-based gait recognition techniques utilize spatio-temporal graphs for the elegant extraction of gait features. However, existing methods often rely on multi-scale operators for extracting long-range relationships among joints resulting in biased weighting. In this paper, we present HEATGait, a gait recognition system that improves the existing multi-scale graph convolution by efficient hop-extraction technique to alleviate the issue. Combined with preprocessing and augmentation techniques, we propose a powerful feature extractor that utilizes ResGCN to achieve state-of-the-art performance in model-based gait recognition on the CASIA-B gait dataset.

研究の動機と目的

• モデルベースの歩行認識で用いられるマルチスケールのグラフ畳み込みネットワークにおけるバイアス加重問題に対処すること。
• 多項式ベースの隣接行列拡張の代わりにホップ抽出技術を用いることで、長距離の関節依存関係のモデリングを改善すること。
• 低信頼度のポーズ推定を除去する前処理により、特徴表現を向上させること。
• ResGCNベースのアーキテクチャを用いて、CASIA-Bの歩行認識ベンチマークで最先端の性能を達成すること。

提案手法

• システムは、歩行動画フレームから2次元関節座標を抽出するためのポーズ推定ネットワークを用いる。
• 低信頼度のポーズ予測を有するフレームを除去する前処理ステップを実施し、ノイズを低減し、モデルの収束を向上させる。
• 新規のホップ抽出技術により、循環的ウォークバイアスを伴わずに長距離の関節関係を捉えるマルチスケールの隣接行列を構築する。
• 得られた隣接行列を、空間的・時間的歩行特徴を学習するResGCNベースのグラフ畳み込みネットワークに用いる。
• 過学習を防ぐために、教師付き対照的損失と周期的学習率スケジューリングを用いてモデルを訓練する。
• ポーズ系列の逐次処理により、時間的モデリングを統合する。

実験結果

リサーチクエスチョン

• RQ1 多項式ベースのマルチスケールグラフ畳み込みにおけるバイアス加重問題は、歩行認識においてどのように効果的に軽減可能か？
• RQ2 従来の高次隣接行列と比較して、ホップ抽出は長距離の関節依存関係モデリングをどの程度改善するか？
• RQ3 ポーズ推定出力の前処理は、特に困難な歩行条件下でも顕著に認識精度を向上させることができるか？
• RQ4 提案されたHEATGaitフレームワークは、多様な視覚角度と歩行条件下で、既存の最先端手法を上回る性能を示すか？

主な発見

• HEATGaitは、CASIA-Bデータセットにおいて通常歩行（NM）条件下で93.3%の認識精度を達成し、ベースラインのResGCNを顕著に上回った。
• 背景変動（BG）条件下では87.5%、衣類変動（CL）条件下では82.3%の精度を達成し、環境的および外見的変化に対して高いロバスト性を示した。
• アブレーションスタディの結果、前処理のみで平均して2.33%の精度向上が確認された一方、ホップ抽出を追加することで、ベースライン比で11.07%の向上が達成された。
• 12の評価設定のうち10で、HEATGaitはすべての最先端手法を上回った。54°および72°の視覚角度を除くすべての条件下で顕著な性能向上が得られた。
• 教師付き対照的損失と周期的学習率スケジューリングの併用により、限られた歩行データでも過学習が効果的に抑制され、安定した学習が可能となった。