[论文解读] Proxy Anchor Loss for Deep Metric Learning

Sung‐Yeon Kim, Dong-Won Kim+2 more|arXiv (Cornell University)|Mar 31, 2020

Face recognition and analysis参考文献 40被引用 8

一句话总结

该论文提出了一种新型深度度量学习损失函数——Proxy-Anchor损失，结合了基于代理的训练方法的快速收敛特性与基于样本对的方法的丰富数据间关系建模能力。通过使用代理作为锚点，并利用数据间关系的相对难易度，该方法在四个基准数据集上实现了最先进性能，收敛速度更快且对噪声具有更强鲁棒性，优于现有方法，且无需人工采样三元组。

ABSTRACT

Existing metric learning losses can be categorized into two classes: pair-based and proxy-based losses. The former class can leverage fine-grained semantic relations between data points, but slows convergence in general due to its high training complexity. In contrast, the latter class enables fast and reliable convergence, but cannot consider the rich data-to-data relations. This paper presents a new proxy-based loss that takes advantages of both pair- and proxy-based methods and overcomes their limitations. Thanks to the use of proxies, our loss boosts the speed of convergence and is robust against noisy labels and outliers. At the same time, it allows embedding vectors of data to interact with each other in its gradients to exploit data-to-data relations. Our method is evaluated on four public benchmarks, where a standard network trained with our loss achieves state-of-the-art performance and most quickly converges.

研究动机与目标

• 解决深度度量学习中训练速度与丰富监督信号之间的权衡问题。
• 克服基于样本对损失因复杂度高导致的收敛缓慢问题，以及基于代理损失在数据间关系建模方面的局限性。
• 开发一种损失函数，实现快速可靠的收敛，同时通过基于代理的优化方式捕捉细粒度的数据间关系。
• 在无需人工采样三元组或超参数调优的情况下，实现在公开基准数据集上的最先进性能。

提出的方法

• 损失函数使用代理作为锚点，并将每个代理与批次中的所有数据点关联，而非将每个数据点与代理关联。
• 对于每个代理，损失函数通过基于边距的对比学习目标，最小化其与同类别数据点的距离，同时最大化其与不同类别数据点的距离。
• 梯度根据相对难易度加权，该难易度由数据点相对于代理的相对接近程度决定，从而实现数据间关系的建模。
• 损失函数是可微的且支持端到端训练，支持网络权重与代理嵌入的联合优化。
• 引入两个超参数 α（边距缩放）和 δ（温度），用于控制边距大小与损失的软性程度。
• 通过基于代理的监督机制，利用批次内所有数据的交互关系，避免了三元组采样。

实验结果

研究问题

• RQ1 基于代理的损失是否能在不牺牲训练速度的前提下，实现基于样本对损失的丰富监督信号？
• RQ2 在基于代理的框架中，如何有效建模数据间关系以提升嵌入质量？
• RQ3 所提出的损失是否能在收敛速度和对噪声标签及异常值的鲁棒性方面优于现有方法？
• RQ4 批量大小与嵌入维度对所提损失性能的影响如何？

主要发现

• 在 CUB-200-2011 和 Cars-196 数据集上，当批量大小为 150 时，Proxy-Anchor 损失分别实现了 68.6% 和 86.4% 的 Recall@1，优于先前方法。
• 在 SOP 和 In-Shop 数据集上，批量大小为 150 时，分别达到 79.1% 和 91.9% 的 Recall@1，当批量大小增至 300 时，进一步提升至 79.3% 和 92.0%。
• 在嵌入维度 ≥128 的条件下，该损失表现稳定，且在高维设置下显著优于 MS 损失，后者在高维下性能下降明显。
• 当 α ≥ 16 时，模型性能稳定且对超参数调优不敏感，即使不进行优化也能达到最先进结果。
• 与所有基线方法相比，该损失收敛速度更快，如在 Cars-196 数据集上的训练时间与准确率曲线所示，包括 Proxy-NCA 和三元组损失。
• 增大 δ 可略微提升性能，但该效果在 α 较大时最为显著，表明两个超参数之间存在协同效应。