[论文解读] Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification

Mang Ye, Jianbing Shen+3 more|arXiv (Cornell University)|Jul 18, 2020

Video Surveillance and Tracking Methods参考文献 61被引用 32

一句话总结

该论文提出 DDAG，一种两流的 VI-ReID 框架，结合模态内加权部件聚合和跨模态图结构注意力，并引入一个无参数的动态双聚合策略，在训练过程中逐步整合这两个组件。

ABSTRACT

Visible-infrared person re-identification (VI-ReID) is a challenging cross-modality pedestrian retrieval problem. Due to the large intra-class variations and cross-modality discrepancy with large amount of sample noise, it is difficult to learn discriminative part features. Existing VI-ReID methods instead tend to learn global representations, which have limited discriminability and weak robustness to noisy images. In this paper, we propose a novel dynamic dual-attentive aggregation (DDAG) learning method by mining both intra-modality part-level and cross-modality graph-level contextual cues for VI-ReID. We propose an intra-modality weighted-part attention module to extract discriminative part-aggregated features, by imposing the domain knowledge on the part relationship mining. To enhance robustness against noisy samples, we introduce cross-modality graph structured attention to reinforce the representation with the contextual relations across the two modalities. We also develop a parameter-free dynamic dual aggregation learning strategy to adaptively integrate the two components in a progressive joint training manner. Extensive experiments demonstrate that DDAG outperforms the state-of-the-art methods under various settings.

研究动机与目标

• 解决 VI-ReID 的挑战，包括大幅的类内变异、跨模态差距，以及数据中的显著噪声。
• 在每种模态内开发判别性部件级特征，以提高对背景杂乱的鲁棒性。
• 利用跨模态图关系加强可见与红外图像之间的表征。
• 提出一个无参数的动态训练策略，以共同优化这两个注意力组件。

提出的方法

• 两流骨干网络，模态特异的第一块和共享的更深层块以学习模态可共享的中层特征。
• 模态内加权部件聚合（IWPA），在每种模态内对部件层级进行注意力学习，使用基于非局部风格的机制在 p 个部件上，并通过残差 BatchNorm (RBN) 加权聚合进行融合。
• 跨模态图结构化注意力（CGSA），在一个批次为 2mn 的图像上构建跨模态图，应用多头图注意力以捕捉跨模态邻域关系，并输出图注意力增强的特征。
• 动态双聚合学习，将实例级部件聚合学习视为主导（L_P），并通过一个无参数的调度逐步加入跨模态的图级学习（L_g）（L^t = L_P^t + 1/(1+E[L_P^{t-1}]) * L_g^t）。
• 关键方程包括：模态内部件注意力图 alpha^p_{i,j} = f(x^p_i, x^p_j) / sum_j f(x^p_i, x^p_j) 其中 f = exp(u(x^p_i)^T v(x^p_j)); 残差 BN 聚合 x^* = BN(x^o) + sum_i w^p_i x̄^p_i; 跨模态图注意力 alpha^g_{i,j} 由变换后的特征 h(x^o_i), h(x^o_j) 通过多头头计算；最终图特征 x^g_i = φ(concat_heads sum_j alpha^g_{i,j} h^l(x^o_j)).

实验结果

研究问题

• RQ1 模态内部件级注意力是否能提高 VI-ReID 的判别性和对杂乱背景的鲁棒性？
• RQ2 是否通过引入跨模态图结构化注意力来提升跨模态特征学习并缩小模态间差距？
• RQ3 是否存在一种动态、无参数的聚合策略在训练过程中有效整合两种注意力而不会不稳定？
• RQ4 在 SYSU-MM01 与 RegDB 数据集上，所提 DDAG 框架与当前最先进的 VI-ReID 方法相比如何？

主要发现

• DDAG 在 SYSU-MM01 和 RegDB 的多种设置下均超过了最新的 VI-ReID 方法。
• 带残差 BN 的 IWPA 以及可学习的部件权重在基线之上提升了 rank-1、rank-5、rank-10、rank-20 和 mAP。
• CGSA 通过利用跨模态邻域关系并稳定训练进一步提升性能。
• 在不额外超参数的情况下实现的动态双聚合有效地结合了实例级和图级学习，带来叠加性增益。