[論文レビュー] Looking GLAMORous: Vehicle Re-Id in Heterogeneous Cameras Networks with Global and Local Attention

Abhijit Suprem, Calton Pu|arXiv (Cornell University)|Feb 6, 2020

Advanced Neural Network Applications参考文献 32被引用数 24

ひとこと要約

GLAMORは、統合されたグローバルおよびローカルアテンションモジュールを用いて、異種カメラネットワークにおける車両再識別のためのコンactな単一モデルフレームワークを提案する。グローバル特徴を用いたクラス間の区別と、自己ガイドドのローカル特徴を用いたクラス内での頑健性を同時に抽出する。VeRi-776で80.34のmAP、VRICで76.48、VeRi-Wildで77.15を達成し、先行手法よりもmAPで25%向上するが、モデルサイズは10倍小さくなっている。

ABSTRACT

Vehicle re-identification (re-id) is a fundamental problem for modern surveillance camera networks. Existing approaches for vehicle re-id utilize global features and local features for re-id by combining multiple subnetworks and losses. In this paper, we propose GLAMOR, or Global and Local Attention MOdules for Re-id. GLAMOR performs global and local feature extraction simultaneously in a unified model to achieve state-of-the-art performance in vehicle re-id across a variety of adversarial conditions and datasets (mAPs 80.34, 76.48, 77.15 on VeRi-776, VRIC, and VeRi-Wild, respectively). GLAMOR introduces several contributions: a better backbone construction method that outperforms recent approaches, group and layer normalization to address conflicting loss targets for re-id, a novel global attention module for global feature extraction, and a novel local attention module for self-guided part-based local feature extraction that does not require supervision. Additionally, GLAMOR is a compact and fast model that is 10x smaller while delivering 25% better performance.

研究の動機と目的

• 多様なカメラの視点、解像度、および遮蔽やぼやけなどの環境的要因による車両再識別におけるクラス内ばらつきに対処する。
• ボクシングボックスやキーポイントのアノテーションが不要な自己ガイドドのアテンションベースの部分検出を可能にすることで、教師ありローカル特徴抽出の限界を克服する。
• アテンション機構を用いて同時にグローバルおよびローカル特徴を学習する統合的でコンactなモデルを構築し、モデルサイズと推論コストを低減する。
• バッチ正規化の代わりにレイヤー正規化を導入し、損失関数の最適化戦略を見直すことで、特徴表現の安定性と性能を向上させる。
• 敵対的で現実世界の条件下で、複数のベンチマークデータセットにおいて最先端の再識別精度を達成する。

提案手法

• 初期畳み込み層のスパarsityを低減する新しいグローバルアテンションモジュールを導入し、形状および色の不変性を向上させるグローバル特徴学習を強化する。
• 教師なしでグローバル特徴から部分特徴（ヘッドランプ、バンパーなど）を自動的に特定・抽出するローカルアテンションモジュールを提案する。
• バッチサイズの変動に強く一般化性能を向上させるために、レイヤー正規化を用いたResNet-18バックボーンを採用する。
• トリプレット損失とラベルスムージング付きソフトマックス損失を組み合わせ、異なる損失目的の特徴分布を正規化によって整合させる。
• マルチブランチネットワークや外部検出器を不要にする統合的でシングルストリームアーキテクチャを採用する。
• 収束性と頑健性を向上させるために、ウォームアップ-1学習率スケジューリングと特徴正規化を適用する。

実験結果

リサーチクエスチョン

• RQ1 異種カメラ環境下で、グローバルおよびローカルアテンション機構を統合した単一モデルが、マルチブランチまたはマルチストリームアーキテクチャを上回る性能を発揮できるか？
• RQ2 アテンションモジュールによる自己ガイドドのローカル特徴学習は、教師あり部分アノテーションの必要性を排除しつつ、精度を維持または向上させられるか？
• RQ3 バッチ正規化と比較して、レイヤー正規化と最適化された損失組み合わせ戦略は、再識別タスクにおいてモデルの安定性と性能を向上させられるか？
• RQ4 遮蔽や視点変化の影響下でも、グローバルアテンションが特徴の豊かさと頑健性をどのように向上させるか？
• RQ5 標準ベンチマーク（VeRi-776、VRIC、VeRi-Wild）において、GLAMORは既存の最先端モデルと比較してサイズ、速度、精度の点でどの程度優れているか？

主な発見

• GLAMORはVeRi-776でmAP 80.34を達成し、PGANを含む先行SOTA手法を上回り、ランク-1精度は96.53%を記録した。
• マルチ解像度・マルチスケール画像を含む挑戦的なVRICデータセットでは、mAP 76.48、ランク-1 78.58%を達成し、既存の単一モデル手法を上回った。
• 大規模なVeRi-Wildベンチマークでは、mAP 77.15、ランク-1 92.13%を達成し、現実世界の敵対的条件下でも強力な汎化性能と頑健性を示した。
• GLAMORはモデルパラメータ数を11Mにまで削減し、次にコンactなモデル（MTML-OSGの110M）の約10倍小さくなったが、MTML-OSGよりもmAPを25%向上させた。
• バッチ正規化（66.10）とグループ正規化（67.12）を上回り、レイヤー正規化が最も高い性能（mAP 68.45）を示した。これは、バッチサイズの変動にわたる安定性のおかげである。
• グローバルおよびローカルアテンションモジュールの組み合わせにより、mAPが73.28に上昇し、CBAM（63.59）やベースモデル（63.59）を大きく上回った。これにより、アテンション設計の有効性が裏付けられた。