[论文解读] Deep Metric Learning by Online Soft Mining and Class-Aware Attention

Xinshao Wang, Hua Yang+3 more|arXiv (Cornell University)|Nov 4, 2018

Video Surveillance and Tracking Methods参考文献 36被引用 4

一句话总结

本文提出在线软采样（OSM）和类别感知注意力（CAA），通过为小批量中的所有样本分配连续得分，实现对有用信息的充分利用，同时降低异常值的影响。通过结合OSM的软采样与CAA的异常值抑制，该方法在细粒度图像识别和基于视频的人重新识别基准上实现了最先进性能，在MARS数据集上的mAP提升最高达4.9%。

ABSTRACT

Deep metric learning aims to learn a deep embedding that can capture the semantic similarity of data points. Given the availability of massive training samples, deep metric learning is known to suffer from slow convergence due to a large fraction of trivial samples. Therefore, most existing methods generally resort to sample mining strategies for selecting nontrivial samples to accelerate convergence and improve performance. In this work, we identify two critical limitations of the sample mining methods, and provide solutions for both of them. First, previous mining methods assign one binary score to each sample, i.e., dropping or keeping it, so they only selects a subset of relevant samples in a mini-batch. Therefore, we propose a novel sample mining method, called Online Soft Mining (OSM), which assigns one continuous score to each sample to make use of all samples in the mini-batch. OSM learns extended manifolds that preserve useful intraclass variances by focusing on more similar positives. Second, the existing methods are easily influenced by outliers as they are generally included in the mined subset. To address this, we introduce Class-Aware Attention (CAA) that assigns little attention to abnormal data samples. Furthermore, by combining OSM and CAA, we propose a novel weighted contrastive loss to learn discriminative embeddings. Extensive experiments on two fine-grained visual categorisation datasets and two video-based person re-identification benchmarks show that our method significantly outperforms the state-of-the-art.

研究动机与目标

• 解决大规模数据集中由于平凡样本导致的深度度量学习收敛缓慢问题。
• 克服现有样本采样方法通过二值（难样本）筛选而丢弃潜在有用样本的局限性。
• 缓解采样训练样本中异常值对模型性能的负面影响。
• 开发一种通用、可插拔的解决方案，兼容现有度量学习框架。
• 通过结合OSM与CAA的新型加权对比损失，提升可区分嵌入学习性能。

提出的方法

• 提出在线软采样（OSM），为小批量中的所有样本分配连续采样得分，而非二值选择，从而充分利用小批量内的信息。
• 通过基于嵌入空间中欧氏距离的相似度，为更相似的正样本对分配更高得分，实现软正样本采样，保留类内差异。
• 引入软负样本采样，通过为损失更大的样本对分配更高得分，优先选择更困难的负样本，实现对难样本采样的泛化。
• 提出类别感知注意力（CAA），基于类别兼容性计算注意力得分，通过赋予异常值较低的注意力权重来抑制其影响。
• 将OSM与CAA结合，构建加权对比损失，其中样本对的权重为OSM得分与CAA注意力得分的乘积。
• 该方法具有通用性，可无缝集成到使用对比损失、三元组损失或四元组损失的现有度量学习框架中。

实验结果

研究问题

• RQ1 与二值难样本采样相比，连续采样得分是否能提升深度度量学习中的模型收敛速度与性能？
• RQ2 通过软正样本采样保留类内差异，是否能提升细粒度识别任务中的泛化能力？
• RQ3 异常值在度量学习中对性能的负面影响有多大？能否在训练过程中有效抑制？
• RQ4 结合软采样与异常值注意力的统一框架，是否能在多种基准数据集上实现最先进性能？
• RQ5 OSM与CAA的集成对图像与视频双模态人重新识别任务的性能影响如何？

主要发现

• 在CUB-200-2011数据集上，所提方法达到77.5%的CMC-1准确率，较基线提升5.5个百分点。
• 在MARS数据集上，方法较最先进方法CAE提升mAP 4.9%、CMC-1 2.3%。
• 在更具挑战性的LPW数据集上，方法达到84.7%的CMC-1准确率，显著优于所有对比方法。
• 消融实验表明，仅使用OSM较基线性能提升1-2%，加入CAA后额外获得1-2%的增益。
• 即使使用预训练的GoogleNet权重，基线模型在CUB-200-2011上仅达47.8% CMC-1，而所提方法仍超出7个百分点以上。
• OSM与CAA的联合应用在所有数据集上均带来一致性能提升，验证了方法的鲁棒性与泛化能力。