[论文解读] Deep Metric Learning Beyond Binary Supervision

Sung‐Yeon Kim, Minkyo Seo+3 more|arXiv (Cornell University)|Apr 21, 2019

Multimodal Machine Learning Applications参考文献 56被引用 10

一句话总结

本文提出了一种新颖的深度度量学习框架，利用连续相似度标签（如人体姿态、房间布局和图像字幕）而非二元监督。通过引入保持比例的三元组损失和密集三元组挖掘策略，该方法学习到更丰富、更细致的相似度度量，相较于先前方法在图像检索和视觉表征学习任务上表现更优，且在使用所学特征进行图像字幕生成时性能也有所提升。

ABSTRACT

Metric Learning for visual similarity has mostly adopted binary supervision indicating whether a pair of images are of the same class or not. Such a binary indicator covers only a limited subset of image relations, and is not sufficient to represent semantic similarity between images described by continuous and/or structured labels such as object poses, image captions, and scene graphs. Motivated by this, we present a novel method for deep metric learning using continuous labels. First, we propose a new triplet loss that allows distance ratios in the label space to be preserved in the learned metric space. The proposed loss thus enables our model to learn the degree of similarity rather than just the order. Furthermore, we design a triplet mining strategy adapted to metric learning with continuous labels. We address three different image retrieval tasks with continuous labels in terms of human poses, room layouts and image captions, and demonstrate the superior performance of our approach compared to previous methods.

研究动机与目标

• 为解决二元监督在深度度量学习中的局限性，其无法捕捉语义相似度的差异程度。
• 使深度度量学习能够利用丰富、连续且结构化的标签，如人体姿态、场景图和图像字幕。
• 设计一种损失函数，以在嵌入空间中保持标签空间中距离的比例关系，从而实现对相似度程度的感知学习。
• 开发一种三元组挖掘策略，避免二元量化，并充分利用小批量中的所有邻居对。
• 在多个检索任务和下游视觉应用中证明该框架的有效性。

提出的方法

• 提出一种新型三元组损失，可在嵌入空间中保持标签距离的比例关系，从而实现对相似度程度的感知学习。
• 提出一种密集三元组挖掘策略，从一个小批量中采样所有可能的三元组，避免了对二元量化的需求。
• 使用连续标签（如姿态相似度分数、字幕嵌入）作为监督信号，指导度量空间的学习。
• 将该方法应用于三项检索任务：基于连续标签的人体姿态检索、房间布局检索和图像字幕检索。
• 训练卷积神经网络，使图像在嵌入空间中的相对距离与标签空间中的距离保持一致。
• 在图像字幕任务上评估该框架所学习的视觉特征，以字幕感知的表征学习替代ImageNet预训练。

实验结果

研究问题

• RQ1 深度度量学习是否能从连续相似度标签而非二元监督中获益？
• RQ2 如何在学习到的嵌入空间中保持图像之间相似度的相对程度？
• RQ3 一种保持标签距离比例的三元组损失是否能生成优于标准三元组损失的度量表示？
• RQ4 一种密集三元组挖掘策略是否能在无需二元量化的情况下提升性能？
• RQ5 所学习的度量空间能否作为下游任务（如图像字幕生成）的有效视觉特征？

主要发现

• 所提方法在使用连续标签的人体姿态、房间布局和图像字幕检索任务中均达到当前最优性能。
• 保持比例的损失函数与密集挖掘策略均对性能提升有显著贡献，其中后者使训练数据的利用更加高效。
• 即使在比先前方法更低的嵌入维度下，模型仍能学习到有效的视觉表征。
• 通过该框架学习到的字幕感知视觉特征在图像字幕生成任务中优于ImageNet预训练特征，CIDEr-D、BLEU-4、METEOR、ROUGE-L和SPICE得分均更高。
• 定性结果表明，与基线方法相比，该模型能更准确地检索出具有复杂语义关系（如物体交互、动作）的图像。
• 该方法在多种连续标签类型上均表现出良好的泛化能力，展现出强鲁棒性与可迁移性。