[論文レビュー] Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification

Mang Ye, Jianbing Shen+3 more|arXiv (Cornell University)|Jul 18, 2020

Video Surveillance and Tracking Methods参考文献 61被引用数 32

ひとこと要約

本論文は、DDAG という二-stream VI-ReID フレームワークを提案します。内部モダリティの weighted-part aggregation と cross-modality graph structured attention を組み合わせ、訓練中に両コンポーネントを段階的に統合するパラメータフリーのダイナミックデュアルアグリゲーション戦略を採用します。

ABSTRACT

Visible-infrared person re-identification (VI-ReID) is a challenging cross-modality pedestrian retrieval problem. Due to the large intra-class variations and cross-modality discrepancy with large amount of sample noise, it is difficult to learn discriminative part features. Existing VI-ReID methods instead tend to learn global representations, which have limited discriminability and weak robustness to noisy images. In this paper, we propose a novel dynamic dual-attentive aggregation (DDAG) learning method by mining both intra-modality part-level and cross-modality graph-level contextual cues for VI-ReID. We propose an intra-modality weighted-part attention module to extract discriminative part-aggregated features, by imposing the domain knowledge on the part relationship mining. To enhance robustness against noisy samples, we introduce cross-modality graph structured attention to reinforce the representation with the contextual relations across the two modalities. We also develop a parameter-free dynamic dual aggregation learning strategy to adaptively integrate the two components in a progressive joint training manner. Extensive experiments demonstrate that DDAG outperforms the state-of-the-art methods under various settings.

研究の動機と目的

• VI-ReID の課題を動機づけ、広い intra-class 変動、モダリティ間のギャップ、データ中の大きなノイズを含む課題に対処する。
• 各モダリティ内で背景の乱雑さに対するロバスト性を高める識別的な部位レベル特徴を開発する。
• 可視画像と赤外画像の表現を強化するために、モダリティ間のグラフ関係を活用する。
• パラメーターフリーの動的トレーニング戦略を提案し、2つのアテンション成分を共同最適化する。

提案手法

• モダリティ固有の最初のブロックと共有された深いブロックを用いる2ストリーム・バックボーンで、モダリティ共有の中間レベル特徴を学習する。
• Intra-modality Weighted-Part Aggregation (IWPA) は、各モダリティ内で部位レベルのアテンションを learns する。非局所スタイル機構を p ボディ部に適用し、Residual BatchNorm (RBN) 重み付きアグリゲーションと結合する。
• Cross-modality Graph Structured Attention (CGSA) は、バッチ内の2mn枚の画像を用いてモダリティ間グラフを構築し、マルチヘッド・グラフアテンションを適用してクロスモーダル近傍関係を捉え、グラフ注意強化特徴を出力する。
• L^t = L_P^t + 1/(1+E[L_P^{t-1}]) * L_g^t のパラメータフリーなスケジュールで、インスタンスレベルの部位集約学習を優勢に扱い、段階的にグラフレベルのクロスモダリティ学習を追加するダイナミックデュアルアグリゲーション学習。
• 主な方程式には次のものが含まれる：intra-modality part attention map alpha^p_{i,j} = f(x^p_i, x^p_j) / sum_j f(x^p_i, x^p_j) with f = exp(u(x^p_i)^T v(x^p_j)); residual BN aggregation x^* = BN(x^o) + sum_i w^p_i x̄^p_i; graph attention alpha^g_{i,j} computed from transformed features h(x^o_i), h(x^o_j) with multi-head heads; final graph-feature x^g_i = φ(concat_heads sum_j alpha^g_{i,j} h^l(x^o_j)).

実験結果

リサーチクエスチョン

• RQ1 Intra-modality part-level attention は VI-ReID における識別性とノイズに対するロバスト性を改善できるか。
• RQ2 クロスモダリティ Graph 構造化注意を組み込むことで、クロスモーダル特徴学習を強化し、モダリティギャップを縮小できるか。
• RQ3 ダイナミックでパラメータフリーなアグリゲーション戦略は、訓練中に注意機構を安定させつつ両方を効果的に統合できるか。
• RQ4 提案手法 DDAG は SYSU-MM01 および RegDB データセットで最先端の VI-ReID 手法と比較してどうか。

主な発見

Method	r=1	r=5	r=10	r=20	mAP
B (Baseline)	48.18	75.81	85.73	93.52	47.64
B+P (Baseline+IWPA)	53.69	81.16	88.38	94.56	51.37
B+G (Baseline+CGSA)	50.75	78.43	86.71	93.62	49.73
B+P+G (DDAG)	54.75	82.31	90.39	95.81	53.02

• DDAG は SYSU-MM01 および RegDB において、複数設定で最先端の VI-ReID 手法を上回る。
• Residual BN と学習可能な部位重みによる IWPA は、baseline に対して rank-1、rank-5、rank-10、rank-20、および mAP を改善する。
• CGSA はクロスモダリティ近傍関係を活用し、訓練を安定化させることでさらに性能を向上させる。
• 追加のハイパーパラメータなしのダイナミックなデュアルアグリゲーションは、インスタンスレベルとグラフレベルの学習を効果的に組み合わせ、加算的な利得をもたらす。