[论文解读] Jointly Learning Multiple Measures of Similarities from Triplet Comparisons

Liwen Zhang, Subhransu Maji+1 more|arXiv (Cornell University)|Mar 5, 2015

Multimodal Machine Learning Applications参考文献 28被引用 4

一句话总结

本文提出了一种基于三元组比较的联合学习框架，用于多个视图特定的相似度度量，将每个视图建模为共享全局嵌入的低秩投影。通过采用带有迹范数正则化的矩阵分解方法，挖掘视图间的相关性，该方法在数据有限的情况下，相比独立学习或池化学习，实现了更低的三元组泛化误差，并在ISOLET数据集上优于MT-LMNN。

ABSTRACT

Similarity between objects is multi-faceted and it can be easier for human annotators to measure it when the focus is on a specific aspect. We consider the problem of mapping objects into view-specific embeddings where the distance between them is consistent with the similarity comparisons of the form "from the t-th view, object A is more similar to B than to C". Our framework jointly learns view-specific embeddings exploiting correlations between views. Experiments on a number of datasets, including one of multi-view crowdsourced comparison on bird images, show the proposed method achieves lower triplet generalization error when compared to both learning embeddings independently for each view and all views pooled into one view. Our method can also be used to learn multiple measures of similarity over input features taking class labels into account and compares favorably to existing approaches for multi-task metric learning on the ISOLET dataset.

研究动机与目标

• 为解决多视图数据中噪声大且模糊的相似度判断问题，聚焦于视图特定的比较。
• 联合学习视图特定的嵌入，利用视图间的相关性，以在数据有限时提升泛化能力。
• 使用共享的低维嵌入和视图特定的局部度量，建模多个相似度度量。
• 将框架扩展至多任务度量学习，整合输入特征和类别标签。
• 在合成数据和真实世界数据集上，展示相比独立学习和池化学习的性能提升。

提出的方法

• 该方法将每个视图的相似度度量建模为共享全局嵌入矩阵 $\boldsymbol{L}$ 和视图特定的半正定矩阵 $\boldsymbol{M}_t$ 的乘积，即 $\boldsymbol{L}\boldsymbol{M}_t\boldsymbol{L}^\top$。
• 将学习问题表述为在三元组比较上最小化合页损失或逻辑损失，对 $\boldsymbol{L}$ 和 $\boldsymbol{M}_t$ 应用迹范数正则化，以控制模型复杂度和秩。
• 通过交替更新进行优化：首先固定 $\boldsymbol{L}$ 更新 $\boldsymbol{M}_t$，然后固定 $\boldsymbol{M}_t$ 更新 $\boldsymbol{L}$。
• 通过整合输入特征和类别标签，将框架扩展至多任务度量学习，将每个类别视为一个视图。
• 使用随机优化进行模型训练，并在高维特征上应用PCA降维，如ISOLET实验所示。
• 在合成数据、飞机姿态、CUB鸟类部件比较以及ISOLET数据集上对多任务学习进行了评估。

实验结果

研究问题

• RQ1 通过共享嵌入联合学习视图特定的相似度度量，是否能提升相对于独立学习或池化学习的泛化能力？
• RQ2 视图间的相关性如何影响联合学习框架的性能？
• RQ3 当存在输入特征和类别标签时，所提出的方法是否能有效学习多个相似度度量？
• RQ4 联合模型是否优于最先进的多任务度量学习基线方法（如MT-LMNN）？
• RQ5 在应用正则化的情况下，该方法对嵌入维度 $D$ 的选择有多敏感？

主要发现

• 在所有测试数据集上，所提方法的三元组泛化误差均低于独立学习和池化学习，尤其在训练数据有限时表现更优。
• 在CUB鸟类数据集上，基于众包的部件级比较中，联合模型显著优于独立和池化方法。
• 在ISOLET数据集上，该方法的测试错误率分别为5.19%（视图特定）和4.01%（全部数据），优于原始MT-LMNN结果。
• 该方法对嵌入维度 $D$ 的依赖程度较弱，表明正则化而非 $D$ 控制了有效维度，这与命题1一致。
• 当视图相似但不冗余时，联合学习框架最为有效，如三元组一致性所衡量的那样。
• 即使三元组数量较少，该模型仍表现出良好的泛化能力，显示出在相似度学习中的数据高效性。