[论文解读] Ground Metric Learning

Marco Cuturi, David Avis|arXiv (Cornell University)|Oct 11, 2011

Data Management and Algorithms参考文献 42被引用 68

一句话总结

本文提出地面度量学习（GML），一种通过在凸函数之差上使用次梯度下降法，从带标签的直方图中自动学习运输距离（如地球移动距离）的地面度量的方法。该方法在使用GIST特征的Caltech-256等图像数据集上提升了分类准确率，优于固定或启发式地面度量。

ABSTRACT

Transportation distances have been used for more than a decade now in machine learning to compare histograms of features. They have one parameter: the ground metric, which can be any metric between the features themselves. As is the case for all parameterized distances, transportation distances can only prove useful in practice when this parameter is carefully chosen. To date, the only option available to practitioners to set the ground metric parameter was to rely on a priori knowledge of the features, which limited considerably the scope of application of transportation distances. We propose to lift this limitation and consider instead algorithms that can learn the ground metric using only a training set of labeled histograms. We call this approach ground metric learning. We formulate the problem of learning the ground metric as the minimization of the difference of two polyhedral convex functions over a convex set of distance matrices. We follow the presentation of our algorithms with promising experimental results on binary classification tasks using GIST descriptors of images taken in the Caltech-256 set.

研究动机与目标

• 解决传统运输距离中地面度量通常基于领域知识预先设定所带来的局限性，从而限制了其适用性。
• 提出一种监督学习框架，使地面度量能够自适应调整，以提升基于直方图的分类任务性能。
• 将地面度量学习建模为在距离矩阵上最小化凸函数之差的凸优化问题。
• 在使用GIST描述符的二值图像分类任务上，对方法进行实证评估，并与基线EMD方法中采用固定度量的性能进行比较。

提出的方法

• 将地面度量学习建模为在距离矩阵的凸集上最小化一个由两个多面体凸函数之差构成的准则。
• 使用投影次梯度下降法寻找非凸目标函数的局部最小值。
• 采用多种初始化策略启动下降过程，包括基于标签相似性的典型表（typical tables）和随机初始化的独立表（independence tables）。
• 将该算法应用于带标签的直方图对进行训练，通过迭代优化地面度量以减少分类误差。
• 在训练过程中，使用带热启动的网络单纯形算法高效计算最优运输计划。
• 将学习到的度量集成到k-NN分类器中，以在测试数据上评估性能。

实验结果

研究问题

• RQ1 能否从带标签的直方图中学习到用于地球移动距离的地面度量，以提升分类性能？
• RQ2 所学习的地面度量在基于直方图的分类任务中，与手工设计或默认度量相比表现如何？
• RQ3 地面度量优化的哪些初始化策略能实现最佳收敛性和准确率？
• RQ4 所学习的度量是否能在不同的k-NN邻域设置下实现良好泛化？
• RQ5 地面度量学习能否在计算机视觉中复杂特征（如GIST描述符）上有效应用？

主要发现

• 所提出的GML-EMD方法在分类准确率上优于采用固定地面度量的EMD方法，尤其当k-NN邻域参数与训练配置相匹配时表现更优。
• 基于标签相似性的典型表初始化显著优于独立表初始化，证明了有信息量初始化的价值。
• 性能曲线显示，当k-NN分类器使用k=3时，GML-EMD在k=3时表现最佳，证实了学习与推理设置的一致性。
• 该方法在所有基线EMD方法中均持续优于使用“Typ∞”度量的设置，体现了自适应度量学习的优势。
• 计算成本可控，主要瓶颈在于重复的最优运输计算，提示可通过下界估计或更快速的EMD求解器实现加速。