[論文レビュー] DF^2AM: Dual-level Feature Fusion and Affinity Modeling for RGB-Infrared Cross-modality Person Re-identification

Junhui Yin, Zhanyu Ma+4 more|arXiv (Cornell University)|Apr 1, 2021

Video Surveillance and Tracking Methods参考文献 44被引用数 8

ひとこと要約

本稿では、RGB赤外人物再識別のための二段階特徴統合とアフィニティモデリングフレームワーク、DF²AMを提案する。局所的およびグローバルなアテンションメカニズムを統合することで判別的特徴学習を向上させ、クラス内コンパクト性とクラス間分離性を活用したアフィニティモデリングモジュールを採用することで、クロスモダリティマッチングを改善し、SYSU-MM01およびRegDBデータセットで最先端の性能を達成した。

ABSTRACT

RGB-infrared person re-identification is a challenging task due to the intra-class variations and cross-modality discrepancy. Existing works mainly focus on learning modality-shared global representations by aligning image styles or feature distributions across modalities, while local feature from body part and relationships between person images are largely neglected. In this paper, we propose a Dual-level (i.e., local and global) Feature Fusion (DF^2) module by learning attention for discriminative feature from local to global manner. In particular, the attention for a local feature is determined locally, i.e., applying a learned transformation function on itself. Meanwhile, to further mining the relationships between global features from person images, we propose an Affinities Modeling (AM) module to obtain the optimal intra- and inter-modality image matching. Specifically, AM employes intra-class compactness and inter-class separability in the sample similarities as supervised information to model the affinities between intra- and inter-modality samples. Experimental results show that our proposed method outperforms state-of-the-arts by large margins on two widely used cross-modality re-ID datasets SYSU-MM01 and RegDB, respectively.

研究の動機と目的

• RGBと赤外画像間の大きなクロスモダリティ差を是正すること。
• 人物画像から局所的およびグローバルな判別的特徴を統合的にモデリングすることで特徴表現を向上させること。
• クラス内コンパクト性とクラス間分離性を用いて人物画像間の関係をモデリングすることで、マッチングのロバスト性を向上させること。
• オクルージョン、視点変化、背景のごみなどのクラス内変動の影響を低減すること。
• ベンチマークRGB赤外再識別データセットで最先端の性能を達成すること。

提案手法

• 二段階特徴統合（DF²）モジュールは、局所的およびグローバルな視点を統合することで判別的特徴のアテンションを学習する：局所的アテンションは各局所的特徴に対する学習可能な変換によって計算され、グローバルアテンションはグローバル平均プーリングを用いて部品レベル特徴を集約する。
• アフィニティモデリング（AM）モジュールは、サンプル類似度においてクラス内コンパクト性とクラス間分離性を教師信号として用いることで、最適なクラス内およびクロスモダリティ画像マッチングを推定する。
• AMモジュールは、ペアワイズ関係に基づいて各サンプルが隣接するサンプルに構造的情報を伝播させるネイバー推論スキームを採用しており、欠損またはオクルージョンした特徴に対してもロバスト性を向上させる。
• 本手法はマルチスケール特徴分割戦略を用い、特徴マップを4つの水平部分に分割した際、最良の性能が得られた。
• アフィニティモデリングをガイドするための新しい損失関数ℒ_Aを導入し、局所的最適解への早期収束を防ぎ、類似度学習を改善した。
• ハイパーパrameter λとζはDF²モジュールとベースラインのバランスを調整するが、最適値はλ=1.1およびζ=1.5で得られた。

実験結果

リサーチクエスチョン

• RQ1 クロスモダリティ人物再識別における局所的およびグローバル特徴表現を効果的に統合することで、判別的特徴学習をどのように向上させられるか？
• RQ2 クラス内コンパクト性とクラス間分離性を用いて人物画像間の関係をモデリングすることで、マッチング精度を向上させられるか？
• RQ3 特徴マップを分割する際の最適な特徴パーツ数は何か？ これは判別能を最大化する。
• RQ4 異なる損失関数およびハイパーパrameterは、提案手法の性能にどのように影響するか？
• RQ5 相互ネイバー推論の統合は、オクルージョンおよび外観変動に対するロバスト性を向上させるか？

主な発見

• 提案されたDF²AM手法は、屋内検索モード下でSYSU-MM01データセットで71.52% mAPを達成し、従来の最先端手法を顕著に上回った。
• RegDBデータセットでは、最先端の性能を達成し、異なるクロスモダリティベンチマークに強く一般化していることが示された。
• アブレーションスタディにより、DF²およびAMモジュールの両方が不可欠であることが確認され、いずれかを除去すると性能が低下した。
• 特徴マップを分割する最適なパーツ数は4であり、SYSU-MM01で最高のmAP71.52%を達成した。
• アフィニティモデリング損失ℒ_Aを用いることで、ℒ₁単体を使用した場合に比べてmAPが2.00ポイント向上し、局所的最適解を避ける有効性が裏付けられた。
• ハイパーパramータチューニングの結果、λ=1.1およびζ=1.5が最良の性能をもたらし、それ以上の値では精度が低下した。