[論文レビュー] Modality Unifying Network for Visible-Infrared Person Re-Identification

Hao Yu, Cheng Xu+3 more|arXiv (Cornell University)|Sep 12, 2023

Video Surveillance and Tracking MethodsComputer Science被引用数 3

ひとこと要約

本稿では、可視赤外人物再識別（VI-ReID）のためのモダリティ統合ネットワーク（MUN）を提案する。この手法は、モダリティ内学習者とモダリティ間学習者を組み合わせて、動的にモダリティ固有特徴と共有特徴をモデル化する、頑健な補助モダリティを生成する。識別的特徴学習を強化するため、アイデンティティアライメント損失とモダリティアライメント損失を導入し、複数のベンチマークで最先端の性能を達成した。AGW+Jなどの先行SOTA手法を上回り、rank-1で1.08%、mAPで0.77%の向上を達成した。

ABSTRACT

Visible-infrared person re-identification (VI-ReID) is a challenging task due to large cross-modality discrepancies and intra-class variations. Existing methods mainly focus on learning modality-shared representations by embedding different modalities into the same feature space. As a result, the learned feature emphasizes the common patterns across modalities while suppressing modality-specific and identity-aware information that is valuable for Re-ID. To address these issues, we propose a novel Modality Unifying Network (MUN) to explore a robust auxiliary modality for VI-ReID. First, the auxiliary modality is generated by combining the proposed cross-modality learner and intra-modality learner, which can dynamically model the modality-specific and modality-shared representations to alleviate both cross-modality and intra-modality variations. Second, by aligning identity centres across the three modalities, an identity alignment loss function is proposed to discover the discriminative feature representations. Third, a modality alignment loss is introduced to consistently reduce the distribution distance of visible and infrared images by modality prototype modeling. Extensive experiments on multiple public datasets demonstrate that the proposed method surpasses the current state-of-the-art methods by a significant margin.

研究の動機と目的

• 既存のVI-ReID手法が、モダリティ固有特徴とアイデンティティに依存する特徴を抑圧し、モダリティ共有表現に偏るという限界に対処すること。
• モダリティ固有パターンとモダリティ共有パターンのバランスを動的に保つことで、モダリティ固有およびモダリティ間の不一致を低減する、頑健な補助モダリティを生成すること。
• 異なるモダリティ間で一貫した特徴分布のアライメントを課すことにより、データ劣化下でも特徴の汎化性と安定性を向上させること。
• バッチレベルの分布推定に起因する学習の不整合を解消するため、モダリティプロトタイプに基づくアライメント戦略を導入すること。
• センターに基づく損失最適化によるアイデンティティに依存する特徴学習を通じて、識別力を向上させること。

提案手法

• 補助モダリティは、可視画像と赤外画像からモダリティ固有およびアイデンティティに依存する特徴を抽出する二重ブランチのモダリティ内学習者（IML）によって生成される。このIMLは、マルチリーチフィールドのディープワイド畳み込みを用いる。
• モダリティ間学習者（CML）は、空間ピラミッドプーリングを用いてIMLの出力を統合し、マルチスケールのモダリティ共有表現を抽出する。
• アイデンティティアライメント損失は、同じアイデンティティの特徴が可視、赤外、補助モダリティ間で近づくように、アイデンティティセンターをアライメントすることで導入される。
• モダリティアライメント損失は、モダリティプロトタイプを用いて、可視と赤外特徴間の分布距離を最小化することで、モダリティ間の一貫性を向上させる。
• トリプレット損失、アイデンティティアライメント損失、モダリティアライメント損失の組み合わせにより、エンドツーエンドで学習され、特徴の識別性とモダリティの耐性を同時に最適化する。
• T-SNEとGrad-CAMによる特徴可視化により、補助モダリティが共有構造的パターンを効果的に保持するとともに、モダリティ差を低減していることが確認された。

実験結果

リサーチクエスチョン

• RQ1 モダリティ固有特徴とモダリティ共有特徴のバランスを動的に保つ補助モダリティは、VI-ReIDの性能向上に寄与するか？
• RQ2 提案されたアイデンティティアライメント損失は、モダリティ間設定におけるクラス内compactnessとクラス間separabilityにどのように影響するか？
• RQ3 モダリティプロトタイプに基づくアライメントは、可視と赤外特徴間の分布シフトをどの程度低減するか？
• RQ4 補助モダリティは、データ劣化や分布シフト下でも性能を向上させるか？
• RQ5 提案手法は、クリーンデータおよび劣化データの両方のシナリオで、既存の最先端手法を上回る性能を発揮できるか？

主な発見

• 提案されたMUN手法は、SYSU-MM01データセットでrank-1精度92.1%、mAP81.3%を達成し、以前のSOTA手法AGW+Jをrank-1で1.08%、mAPで0.77%上回った。
• RegDBデータセットでは、MUNはrank-186.7%、mAP74.5%を達成し、ドメインシフト下でも優れた汎化性能を示した。
• 劣化データ評価では、MUNは一貫した性能向上を維持しており、画像劣化や分布シフトに対して頑健であることが示された。
• T-SNE可視化により、補助モダリティが可視と赤外の特徴空間を効果的に橋渡ししており、訓練過程で特徴がアイデンティティ固有の中心に収束していることが確認された。
• Grad-CAM可視化により、補助特徴マップが両モダリティからの主要な構造的パターンとアイデンティティ関連パターンを保持している一方で、モダリティ固有ノイズを低減していることが確認された。
• アブレーションスタディにより、アイデンティティアライメント損失とモダリティアライメント損失の両方が性能向上に顕著に寄与しており、補助モダリティが特徴の精錬に不可欠であることが裏付けられた。