[論文レビュー] Exploring Deep Models for Practical Gait Recognition

Chao Fan, Saihui Hou+2 more|arXiv (Cornell University)|Mar 6, 2023

Gait Recognition and Analysis被引用数 17

ひとこと要約

本論文は、深層CNNおよびトランスフォーマーベースの歩行モデル（DeepGaitV2とSwinGait）が実世界の歩行認識を大幅に改善することを示し、明示的な時系列モデリングを強調し、歩行シルエットにおけるトランスフォーマーのダムパッチ問題を解決する。

ABSTRACT

Gait recognition is a rapidly advancing vision technique for person identification from a distance. Prior studies predominantly employed relatively shallow networks to extract subtle gait features, achieving impressive successes in constrained settings. Nevertheless, experiments revealed that existing methods mostly produce unsatisfactory results when applied to newly released real-world gait datasets. This paper presents a unified perspective to explore how to construct deep models for state-of-the-art outdoor gait recognition, including the classical CNN-based and emerging Transformer-based architectures. Specifically, we challenge the stereotype of shallow gait models and demonstrate the superiority of explicit temporal modeling and deep transformer structure for discriminative gait representation learning. Consequently, the proposed CNN-based DeepGaitV2 series and Transformer-based SwinGait series exhibit significant performance improvements on Gait3D and GREW. As for the constrained gait datasets, the DeepGaitV2 series also reaches a new state-of-the-art in most cases, convincingly showing its practicality and generality. The source code is available at https://github.com/ShiqiYu/OpenGait.

研究の動機と目的

• 実世界データに対する浅い歩行モデルの有効性を疑問視する。
• 歩行認識における明示的な時系列モデリングの利点を調査する。
• 制約条件付きデータセットと実世界データセットに対して、CNNベースのDeepGaitV2とトランスフォーマー基盤のSwinGaitを評価する。
• トランスフォーマーアーキテクチャに特有の歩行シルエットに関する課題に対処する。

提案手法

• DeepGaitV2-3D/DeepGaitV2-2D バックボーンを、深さ効果を研究するために、2D/3D 残差ユニットと疑似3Dブロックを用いて提案する。
• 外観パッチの問題を緩和するために、畳み込みフロントエンドを備えたSwinGait-2D/3Dトランスフォーマを導入する。
• 局所ウィンドウのSwin Transformerを2D/3D変種と線形埋め込みで適用し、変換された特徴マップからトークンを作成する。
• 深さ(B)と幅(C)を変化させたアブレーションを実施し、セットベースとシーケンスベースの時系列モデリングを比較する。
• マージン付きトリプレット損失と標準的なデータ拡張を用い、公式プロトコルに従って6つの歩行データセットを評価する。

実験結果

リサーチクエスチョン

• RQ1 深い歩行モデル（CNN-およびトランスフォーマーベース）は、実世界の歩行データで浅いモデルを上回ることができるか？
• RQ2 外観が信頼できない場合、明示的な時系列モデリングは歩行認識を改善するか？
• RQ3 トランスフォーマー ベースのアーキテクチャ（SwinGait）は、屋外の歩行ベンチマークでCNNベースのモデルを上回るか？
• RQ4 歩行シルエットにおけるダムパッチをトランスフォーマー使用時にどう緩和するか？
• RQ5 制約付きおよび実世界データセットにおけるDeepGaitV2とSwinGaitの精度と効率のトレードオフは？

主な発見

• DeepGaitV2-3DとDeepGaitV2-P3Dは実世界データセットGait3DとGREWで強力な結果を達成し、従来手法より顕著に改善した。
• SwinGait-3Dは屋外データセットで対応するCNNベースのDeepGaitV2モデルを一般に上回り、速度と精度のトレードオフが有利である。
• 明示的な時系列モデリング（シーケンスベース）は、フレーム順序が保持された場合の性能差から、セットベース手法より明確な利得をもたらす。
• トランスフォーマーのダムパッチ問題への実用的解決策は、トランスフォーマーレイヤより前に畳み込みブロックを早期に使用すること（Conv0および初期段階）、歩行シルエットの効果的なトークン化を可能にする。
• DeepGaitV2-P3Dは、主要データセットで3D CNN対応モデルよりずっと少ないパラメータとFLOPsで競争力のあるまたは優れた性能を提供する。