[論文レビュー] HAT: Hierarchical Aggregation Transformers for Person Re-identification

Guowen Zhang, Pingping Zhang+2 more|arXiv (Cornell University)|Jul 13, 2021

Video Surveillance and Tracking Methods参考文献 60被引用数 14

ひとこと要約

HATは、CNNベースのマルチスケール特徴抽出と、Transformerベースの特徴キャリブレーション（TFC）モジュール、およびディープリグレッシブなアグリゲーション（DSA）メカニズムを組み合わせることで、人物再識別（Re-ID）のための新しい階層的アグリゲーションTransformerを提案する。本手法は、複数スケールの特徴を段階的に統合し、多段階の監視により階層的特徴を統合することで、4つの大規模なRe-IDベンチマークで最先端の性能を達成した。また、低レベルの詳細情報を高レベルの意味的理解のためのグローバルな事前知識として統合することで、高レベルの意味特徴を強化した。

ABSTRACT

Recently, with the advance of deep Convolutional Neural Networks (CNNs), person Re-Identification (Re-ID) has witnessed great success in various applications. However, with limited receptive fields of CNNs, it is still challenging to extract discriminative representations in a global view for persons under non-overlapped cameras. Meanwhile, Transformers demonstrate strong abilities of modeling long-range dependencies for spatial and sequential data. In this work, we take advantages of both CNNs and Transformers, and propose a novel learning framework named Hierarchical Aggregation Transformer (HAT) for image-based person Re-ID with high performance. To achieve this goal, we first propose a Deeply Supervised Aggregation (DSA) to recurrently aggregate hierarchical features from CNN backbones. With multi-granularity supervisions, the DSA can enhance multi-scale features for person retrieval, which is very different from previous methods. Then, we introduce a Transformer-based Feature Calibration (TFC) to integrate low-level detail information as the global prior for high-level semantic information. The proposed TFC is inserted to each level of hierarchical features, resulting in great performance improvements. To our best knowledge, this work is the first to take advantages of both CNNs and Transformers for image-based person Re-ID. Comprehensive experiments on four large-scale Re-ID benchmarks demonstrate that our method shows better results than several state-of-the-art methods. The code is released at https://github.com/AI-Zhpp/HAT.

研究の動機と目的

• 非重複カメラ視点下でのCNNの受容 field が限られているという課題に対処すること。
• CNNバックボーンからのマルチスケール階層的特徴を効果的に統合することで、特徴表現を向上させること。
• トランスフォーマーのグローバルモデリング能力を活用し、意味理解を強化するとともに、低レベルの詳細情報を保持すること。
• バックボーン選択に依存しない学習可能なフレームワークを設計し、多様なRe-IDシナリオに耐性を持つこと。
• 多段階の監視と特徴キャリブレーションが、判別性の高い特徴学習をどのように向上させるかを実証すること。

提案手法

• マルチスケールの監視を用いて、CNNバックボーンからの階層的特徴を段階的に統合するためのディープリグレッシブなアグリゲーション（DSA）を提案する。
• 各レベルで低レベルの詳細特徴を高レベルの意味特徴のグローバルな事前知識として統合する、トランスフォーマー基盤の特徴キャリブレーション（TFC）モジュールを導入する。
• TFCにおける効果的なクロスレベル相互作用を実現するため、複数スケールの特徴を一貫した解像度（H/d, W/d）にリサイズするスケーリングモジュールを採用する。
• 勾配の流れを向上させ、意味情報の保持を促進し、正則化を提供するために、複数段階で補助損失を適用する。
• 局所的特徴表現を精緻化し、判別力の向上を図るために、近接領域調整（NeA）を適用する。
• 浅い層から深い層へと特徴を処理する階層的アグリゲーションパイプラインを設計し、段階的に表現を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 CNNバックボーンからのマルチスケール特徴をどのように効果的に統合すれば、人物再識別性能が向上するか？
• RQ2 トランスフォーマー基盤のメカニズムにより、低レベルの詳細情報を高レベルの意味的理解のためのグローバルな事前知識として統合することで、特徴表現を向上させられるか？
• RQ3 多段階の監視が、階層的特徴統合における特徴学習とモデル一般化性能に与える影響は何か？
• RQ4 特徴解像度のスケーリングが、TFCモジュールにおけるクロスレベル特徴相互作用の性能に与える影響は何か？
• RQ5 提案されたHATフレームワークは、標準的なRe-IDベンチマークで、既存の最先端手法をどの程度上回るか？

主な発見

• HATは4つの大規模なRe-IDベンチマークで最先端の性能を達成した：Market1501（mAP: 95.8%, Rank-1: 95.8%）、DukeMTMC（mAP: 81.4%, Rank-1: 90.4%）、CUHK03（mAP: 88.9%, Rank-1: 95.5%）、およびMSMT1271（mAP: 84.5%, Rank-1: 93.0%）。
• アブレーションスタディの結果、マルチスケール特徴抽出（MFE）の監視を削除すると、mAPが4.9%低下し、Rank-1が2.2%低下することが確認され、ディープリグレッシブな監視の重要性が裏付けられた。
• λ = 0.5 の補助損失がDukeMTMCで最良の性能（mAP: 81.4%, Rank-1: 90.4%）を達成し、より高いまたは低いλ値よりも優れた結果を示した。
• d=16でのスケーリングがd=8やd=32よりも優れた性能を示し、中程度の解像度が関連する特徴を保持しつつノイズを導入しないことを示唆した。
• 可視化結果から、HATはベースラインモデルと比較して、バッグのパターンや衣類のテクスチャといったより判別性の高い詳細を捉えていることが確認された。
• TFCモジュールは、浅い層から深い層へと段階的に特徴品質を向上させ、平均化された特徴マップでは高レベルで判別性の高いコンテンツが増加していることが観察された。