[論文レビュー] GaitGL: Learning Discriminative Global-Local Feature Representations for Gait Recognition

Beibei Lin, Shunli Zhang+3 more|arXiv (Cornell University)|Aug 2, 2022

Gait Recognition and Analysis被引用数 21

ひとこと要約

GaitGLは、グローバルとローカルの畳み込み層（GLCL）とマスクベースの局所特徴抽出を備えた新しいグローバル-ローカル gait認識ネットワークを提示し、複数データセットで最先端の結果を達成します。

ABSTRACT

Existing gait recognition methods either directly establish Global Feature Representation (GFR) from original gait sequences or generate Local Feature Representation (LFR) from several local parts. However, GFR tends to neglect local details of human postures as the receptive fields become larger in the deeper network layers. Although LFR allows the network to focus on the detailed posture information of each local region, it neglects the relations among different local parts and thus only exploits limited local information of several specific regions. To solve these issues, we propose a global-local based gait recognition network, named GaitGL, to generate more discriminative feature representations. To be specific, a novel Global and Local Convolutional Layer (GLCL) is developed to take full advantage of both global visual information and local region details in each layer. GLCL is a dual-branch structure that consists of a GFR extractor and a mask-based LFR extractor. GFR extractor aims to extract contextual information, e.g., the relationship among various body parts, and the mask-based LFR extractor is presented to exploit the detailed posture changes of local regions. In addition, we introduce a novel mask-based strategy to improve the local feature extraction capability. Specifically, we design pairs of complementary masks to randomly occlude feature maps, and then train our mask-based LFR extractor on various occluded feature maps. In this manner, the LFR extractor will learn to fully exploit local information. Extensive experiments demonstrate that GaitGL achieves better performance than state-of-the-art gait recognition methods. The average rank-1 accuracy on CASIA-B, OU-MVLP, GREW and Gait3D is 93.6%, 98.7%, 68.0% and 63.8%, respectively, significantly outperforming the competing methods. The proposed method has won the first prize in two competitions: HID 2020 and HID 2021.

研究の動機と目的

• diverse conditions で global または local features のみでは不十分な robust gait recognitionを動機づける。
• global context と detailな local posture 情報を jointly leverage するフレームワークを開発する。
• local detail exploitation を強化するための mask-based local feature extractor を導入する。
• Local Temporal Aggregation (LTA) を通じて空間的ディテールを保持しつつ時間情報の処理を組み込む。
• 4つの人気 gait データセットで最先端の性能を示す。

提案手法

• GLCL を提案し、Global Feature Representation (GFR) extractor と mask-based Local Feature Representation (LFR) extractor の2つの平行抽出機を用いる。
• complementary masks を用いて feature maps を遮蔽する mask-based partition strategy（part-level, strip-level, pixel-level）を導入し、多様な局所表現を学習する。
• 早期段階の従来の spatial pooling layer を Local Temporal Aggregation (LTA) に置換して、空間的ディテールを維持しつつ時間的冗長性を低減する。
• 時間的および空間的特徴マッピングからなる gait recognition ヘッドを使用し、垂直情報を適応的に集約する GeM pooling option を提供する。
• triplet loss と cross-entropy loss の組み合わせ損失で学習し、BA (Batch ALL) sampling 策略を採用する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな文脈関係と局所的な詳細姿勢を gait recognition のために共同でモデル化するにはどうすれば良いか。
• RQ2 mask-based local feature extractors は fixed partition scheme と比較して intra-class variations や occlusion への頑健性を向上させるか。
• RQ3 Local Temporal Aggregation (LTA) を導入することで、時間情報と空間情報のトレードオフを管理して性能を向上させるか。
• RQ4 異なる mask 戦略（part/strip/pixel level）が local feature 学習に与える影響はどの程度か。
• RQ5 GaitGL は複数の標準 gait ベンチマークで最先端の結果を達成できるか。

主な発見

• GaitGL は CASIA-B、OU-MVLP、GREW、および Gait3D データセットで最先端の gait recognition 手法を上回る（平均 rank-1: 93.6%、98.7%、68.0%、63.8%）。
• 提案された mask-based LFR extractor と complementary masks は局所的な姿勢詳細の学習を強化する。
• Local Temporal Aggregation (LTA) は空間解像度を保持しつつ時間的冗長性を低減し、認識精度を向上させる。
• GaitGL は HID 2020 および HID 2021 コンペティションでリーダーとなる性能を達成する。
• GaitGL のソースコードは著者の GitHub リポジトリで公開されている。