[论文解读] Learning Neighborhoods for Metric Learning

Jun Wang, Adam Woźnica+1 more|arXiv (Cornell University)|Jun 28, 2012

Face and Expression Recognition参考文献 15被引用 6

一句话总结

本文提出了一种新颖的度量学习框架——用于度量学习的邻域学习（LNML），通过两步迭代过程联合优化距离度量和目标邻域结构。通过学习实例特定的邻域分配（高质量实例获得更多的邻居），该方法在多个分类数据集上实现了最先进性能，优于传统度量学习方法中预先固定邻域的设定。

ABSTRACT

Metric learning methods have been shown to perform well on different learning tasks. Many of them rely on target neighborhood relationships that are computed in the original feature space and remain fixed throughout learning. As a result, the learned metric reflects the original neighborhood relations. We propose a novel formulation of the metric learning problem in which, in addition to the metric, the target neighborhood relations are also learned in a two-step iterative approach. The new formulation can be seen as a generalization of many existing metric learning methods. The formulation includes a target neighbor assignment rule that assigns different numbers of neighbors to instances according to their quality; `high quality' instances get more neighbors. We experiment with two of its instantiations that correspond to the metric learning algorithms LMNN and MCML and compare it to other metric learning methods on a number of datasets. The experimental results show state-of-the-art performance and provide evidence that learning the neighborhood relations does improve predictive performance.

研究动机与目标

• 为解决现有度量学习方法中固定预计算邻域的局限性，这些邻域可能并非分类性能的最优选择。
• 开发一个统一框架，同时学习马氏度量和目标邻域结构。
• 根据实例质量实现每个实例的可变邻域大小，提升自适应性和预测准确性。
• 证明学习邻域结构可带来比固定邻域假设更好的泛化性能。

提出的方法

• 将度量学习建模为一个联合学习距离度量和目标邻域矩阵P的优化问题，采用两步迭代算法求解。
• 使用线性规划公式，其约束矩阵为全单峰矩阵，以确保邻域分配的整数0-1解。
• 提出一种目标邻域分配规则，根据实例对分类的潜在贡献动态分配更多邻居给高质量实例。
• 将标准度量学习算法（如LMNN和MCML）作为所提框架的特例，分别得到LN-LMNN和LN-MCML。
• 采用软最大函数建模在度量学习过程中演化的邻域关系，实现自适应邻域选择。
• 应用交叉验证调优邻域大小参数，结果显示不同数据集在k=3或k=5时性能最优。

实验结果

研究问题

• RQ1 在度量学习过程中学习目标邻域结构是否能提升分类性能，相比固定邻域？
• RQ2 基于实例质量动态分配邻域大小如何影响度量学习性能？
• RQ3 所提出的度量与邻域结构联合优化方法是否优于最先进度量学习方法？
• RQ4 邻域大小对预测准确性有何影响，是否存在跨数据集的最优值？
• RQ5 所提出的框架能否有效应用于现有度量学习算法（如LMNN和MCML）？

主要发现

• LN-LMNN(CV)在小数据集上取得22.0的总分最高分，显著优于LMNN和其他基线方法。
• 在大数据集上，LN-LMNN(CV)取得41.5的总分，超过PCA+LMNN（33）和PCA+NCA（8.5），表明其具有强大的泛化能力。
• 在Wine数据集上，LN-MCML达到96.07%的准确率，相比MCML的91.57%提升了4.5个百分点。
• 在Sonar数据集上，LN-LMNN(CV)达到92.02%的准确率，显著优于LMNN（81.25%）和NCA（81.73%）。
• McNemar检验确认，LN-LMNN(CV)在7个数据集中的5个上显著优于LMNN，胜出的p值<0.05。
• 该方法在多种数据集上表现出鲁棒性，包括MNIST和Letter，在成对比较中均取得最高分。