[论文解读] Multi-Attention-Based Soft Partition Network for Vehicle Re-Identification

Sangrok Lee, Taekang Woo+1 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出了一种基于多注意力机制的软分区（MUSP）网络用于车辆重识别，通过多种软空间注意力和通道注意力机制突出判别性车辆区域，同时抑制注意力图中的噪声。该模型无需元数据或部件标注，在VehicleID和VERI-Wild数据集上实现了最先进性能，在跨域设置下相比其他基于注意力的方法性能提升最高达6%。

ABSTRACT

Vehicle re-identification helps in distinguishing between images of the same and other vehicles. It is a challenging process because of significant intra-instance differences between identical vehicles from different views and subtle inter-instance differences between similar vehicles. To solve this issue, researchers have extracted view-aware or part-specific features via spatial attention mechanisms, which usually result in noisy attention maps or otherwise require expensive additional annotation for metadata, such as key points, to improve the quality. Meanwhile, based on the researchers' insights, various handcrafted multi-attention architectures for specific viewpoints or vehicle parts have been proposed. However, this approach does not guarantee that the number and nature of attention branches will be optimal for real-world re-identification tasks. To address these problems, we proposed a new vehicle re-identification network based on a multiple soft attention mechanism for capturing various discriminative regions from different viewpoints more efficiently. Furthermore, this model can significantly reduce the noise in spatial attention maps by devising a new method for creating an attention map for insignificant regions and then excluding it from generating the final result. We also combined a channel-wise attention mechanism with a spatial attention mechanism for the efficient selection of important semantic attributes for vehicle re-identification. Our experiments showed that our proposed model achieved a state-of-the-art performance among the attention-based methods without metadata and was comparable to the approaches using metadata for the VehicleID and VERI-Wild datasets.

研究动机与目标

• 为解决车辆重识别中实例内差异（如光照、视角变化）和实例间相似性带来的挑战。
• 降低基于注意力模型中常见的空间注意力图的噪声，从而提升性能。
• 通过端到端学习判别性区域，消除对昂贵的部件级或视角特定标注的需求。
• 通过结合空间注意力与通道注意力，提升特征表示能力，实现更优的语义选择。
• 在无元数据条件下，实现对未见车辆和跨域设置下的强泛化能力。

提出的方法

• 该模型采用多软注意力机制，利用基于softmax的激活函数生成多个空间注意力图，以归一化注意力权重并改善空间分区效果。
• 提出一种新颖的噪声抑制策略，舍弃激活度最低（背景/不显著）区域对应的注意力图，从而降低最终特征表示中的噪声。
• 将空间注意力与通道注意力（受CBAM和SENet启发）结合，联合聚焦于重要空间区域和相关特征通道。
• 该架构采用软分区方法，注意力图并非硬性分配，而是软性分布，从而在不同视角下实现更鲁棒的特征学习。
• 该方法仅应用于主干网络的最终特征图，尽管未来工作可将其扩展至中间层。
• 通过空间多样性损失进行模型训练，以促使注意力图覆盖不同且非重叠的区域。

实验结果

研究问题

• RQ1 软注意力机制是否能在不依赖部件特定标注的前提下，有效抑制空间注意力图中的噪声？
• RQ2 结合空间注意力与通道注意力如何提升车辆重识别中的特征判别能力？
• RQ3 多注意力架构是否能在无元数据条件下，对未见车辆和域实现良好泛化？
• RQ4 所提出的噪声抑制策略是否能带来相对于标准注意力机制的可测量性能提升？
• RQ5 与使用元数据或后处理的最先进方法相比，该模型表现如何？

主要发现

• MUSP模型在VehicleID和VERI-Wild数据集上，作为无元数据的基于注意力方法，实现了最先进性能。
• 在跨域测试中，MUSP在mAP上分别比基线模型和PVEN模型高出6%和2.5%，证明了其强大的泛化能力。
• 与基于sigmoid的注意力相比，使用基于softmax的注意力使mAP提升了0.8%，证实其在空间分区中的优越性。
• 可视化结果表明，该模型即使在未见车辆和不同视角下，也能成功定位判别性车辆部件（如大灯、进气格栅）。
• 该模型性能可与使用元数据的方法相媲美，证明高准确率无需昂贵标注即可实现。
• 消融实验确认，空间注意力与通道注意力模块均对性能有显著贡献，且噪声抑制机制在减少误激活方面起到了关键作用。