[論文レビュー] Gait Recognition via Effective Global-Local Feature Representation and Local Temporal Aggregation

Beibei Lin, Shunli Zhang+1 more|arXiv (Cornell University)|Nov 3, 2020

Gait Recognition and Analysis参考文献 26被引用数 16

ひとこと要約

本稿では、グローバルおよびローカル特徴を統合する新しいグローバル・ローカル特徴抽出器（GLFE）と、新規のグローバル・ローカル畳み込み層（GLConv）を備えた3次元畳み込みニューラルネットワーク（3D CNN）ベースの歩行認識フレームワークを提案する。このフレームワークは、従来の空間プーリングに代わる局所的時間集約（LTA）を導入することで空間解像度を向上させ、CASIA-BおよびOUMVLPデータセットで最先端の性能を達成し、通常の条件下で97.4%のランク-1精度を実現した。

ABSTRACT

Gait recognition is one of the most important biometric technologies and has been applied in many fields. Recent gait recognition frameworks represent each gait frame by descriptors extracted from either global appearances or local regions of humans. However, the representations based on global information often neglect the details of the gait frame, while local region based descriptors cannot capture the relations among neighboring regions, thus reducing their discriminativeness. In this paper, we propose a novel feature extraction and fusion framework to achieve discriminative feature representations for gait recognition. Towards this goal, we take advantage of both global visual information and local region details and develop a Global and Local Feature Extractor (GLFE). Specifically, our GLFE module is composed of our newly designed multiple global and local convolutional layers (GLConv) to ensemble global and local features in a principle manner. Furthermore, we present a novel operation, namely Local Temporal Aggregation (LTA), to further preserve the spatial information by reducing the temporal resolution to obtain higher spatial resolution. With the help of our GLFE and LTA, our method significantly improves the discriminativeness of our visual features, thus improving the gait recognition performance. Extensive experiments demonstrate that our proposed method outperforms state-of-the-art gait recognition methods on two popular datasets.

研究の動機と目的

• 従来の歩行認識手法がグローバル特徴やローカル特徴のいずれかに依存するため、文脈情報と微細な詳細を同時に捉えることができないという限界を是正すること。
• 統合された3次元畳み込みニューラルネットワークフレームワーク内で、グローバルな外観とローカル領域の表現を同時に学習することで、特徴の識別性を向上させること。
• 従来のプーリング層で失われる空間情報を、新規の局所的時間集約（LTA）演算を導入することで保存すること。
• 一般化平均（GeM）プーリングを用いた適応的プーリングにより、空間特徴マッピングを向上させ、さまざまな条件下でも高い耐性を発揮すること。

提案手法

• グローバル・ローカル特徴抽出器（GLFE）モジュールは、複数のGLConv層を統合し、歩行シーケンスからグローバルな視覚的外観とローカル領域の詳細を同時に抽出する。
• GLConv層は、原理的かつ整合的な方法でグローバルな文脈とローカルな構造的情報を符号化するように設計されており、特徴の統合的学習を可能にしている。
• 局所的時間集約（LTA）は、最初の空間プーリング層に代わって、局所的なクリップ内の時間情報を集約することで、有効な空間解像度を向上させる。
• 本手法は、スパatiotemporalな歩行シーケンスを処理するために3次元畳み込みを用い、最初の空間ダウンサンプリングの前にLTAを適用することで情報損失を低減する。
• 空間特徴マッピングには一般化平均（GeM）プーリングを採用し、最大プーリングや平均プーリングよりも優れた性能を発揮する適応的集約を実現する。
• 本フレームワークは、標準的なクロスビュープロトコルに従い、CASIA-BおよびOUMVLPデータセットで訓練および評価され、ダウンサンプリングおよびプーリング戦略に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みニューラルネットワークベースのフレームワークにおいて、グローバルおよびローカル特徴の統合的学習が歩行特徴表現の識別性を向上させることができるか？
• RQ2 従来の空間プーリングに代わる局所的時間集約（LTA）を導入することで、より多くの空間情報を保持し、認識精度を向上させることができるか？
• RQ3 さまざまな条件下での耐性という観点から、GeMプーリングは最大プーリングや平均プーリングと比較して、どのように優れているか？
• RQ4 時間情報の損失を過剰に受けることなく、性能を最大化するためのダウンサンプリング戦略（LTA対SP）の最適な設定は何か？
• RQ5 複数のGLConv層を備えた本手法のGLFEモジュールは、単一ブランチのグローバルまたはローカル特徴抽出器と比較して、認識精度においてどのように優れているか？

主な発見

• 提案手法は、通常の条件下（NM）でCASIA-Bデータセットにおいて97.4%のランク-1精度を達成し、最先端の手法を上回った。
• GLConv層にN=8を設定したGLFEモジュールが最良の性能を示し、NMで97.4%、BGで94.5%、CLで83.6%の精度を達成した。
• LTA+SPのダウンサンプリング戦略がNMで97.4%の精度を達成し、SP+SP（96.3%）およびLTA+LTA（94.4%）を上回った。これは、時間的・空間的トレードオフの最適なバランスを示している。
• GeMプーリングは、全条件で最高の平均精度（91.8%）を達成し、BGおよびCL設定では最大プーリングおよび平均プーリングをそれぞれ0.5%および1.1%上回った。
• アブレーションスタディの結果、GLFEによるグローバルおよびローカル特徴の統合は、グローバルまたはローカル特徴のみを用いる場合に比べて性能を顕著に向上させた。最良の設定ではNMで97.4%の精度を達成した。