[论文解读] A Survey on Metric Learning for Feature Vectors and Structured Data

Aurélien Bellet, Amaury Habrard+1 more|arXiv (Cornell University)|Jun 28, 2013

Text and Document Classification Technologies参考文献 225被引用 531

一句话总结

本综述全面概述了用于特征向量和结构化数据的度量学习，涵盖马氏距离学习、非线性和局部度量学习、相似度学习以及编辑距离学习。文章突出展示了关键进展、挑战与未来方向，包括可扩展性、泛化理论以及结构化数据应用。

ABSTRACT

The need for appropriate ways to measure the distance or similarity between data is ubiquitous in machine learning, pattern recognition and data mining, but handcrafting such good metrics for specific problems is generally difficult. This has led to the emergence of metric learning, which aims at automatically learning a metric from data and has attracted a lot of interest in machine learning and related fields for the past ten years. This survey paper proposes a systematic review of the metric learning literature, highlighting the pros and cons of each approach. We pay particular attention to Mahalanobis distance metric learning, a well-studied and successful framework, but additionally present a wide range of methods that have recently emerged as powerful alternatives, including nonlinear metric learning, similarity learning and local metric learning. Recent trends and extensions, such as semi-supervised metric learning, metric learning for histogram data and the derivation of generalization guarantees, are also covered. Finally, this survey addresses metric learning for structured data, in particular edit distance learning, and attempts to give an overview of the remaining challenges in metric learning for the years to come.

研究动机与目标

• 提供度量学习文献的系统性综述，重点关注既有的和新兴的方法。
• 分析马氏距离学习及其与非线性和局部度量学习等替代框架相比的优势与局限性。
• 考察近期趋势，包括半监督学习、直方图数据的度量学习以及泛化保证。
• 探索结构化数据的度量学习，特别是编辑距离学习，并识别开放性挑战。
• 概述未来研究方向，包括可扩展性、理论理解以及对数据变化的鲁棒性。

提出的方法

• 将度量学习表述为带约束（必须连接、不能连接、三元组）的凸优化问题，以引导度量的适应。
• 采用通用优化框架：最小化惩罚约束违反的损失函数，并通过 $ R(oldsymbol{M}) $ 正则化，正则化参数为 $ heta $。
• 回顾使用半正定矩阵 $ oldsymbol{M} $ 的马氏距离学习，其中 $ d_{oldsymbol{M}}(oldsymbol{x},oldsymbol{x'}) = \sqrt{(oldsymbol{x}-\boldsymbol{x'})^T \boldsymbol{M} (\boldsymbol{x}-\boldsymbol{x'})} $。
• 讨论通过核方法实现的非线性度量学习，以及基于成对或三元组监督的相似度学习。
• 引入局部度量学习，即在输入空间的不同区域学习不同的度量。
• 解决结构化数据的编辑距离学习，包括 GESL 等方法，将基于特征的学习原则适配至字符串和序列。

实验结果

研究问题

• RQ1 如何在保持可扩展性和泛化能力的同时，使度量学习有效适应数据的语义结构？
• RQ2 与非线性和局部度量学习方法相比，马氏距离学习的相对优势和局限性是什么？
• RQ3 如何将度量学习扩展至字符串、图和直方图等结构化数据？
• RQ4 在度量学习中，针对 $ k $-NN 和聚类的泛化性存在哪些理论保证？
• RQ5 如何使度量学习在终身学习场景中对概念漂移和噪声数据具有鲁棒性？

主要发现

• 马氏距离学习仍是主导且研究充分的框架，但近期出现的非线性和局部度量学习方法展现出强大潜力。
• 半监督和弱监督度量学习方法通过利用成对或三元组约束，实现了性能提升。
• 线性分类的泛化保证已被推导出，但针对 $ k $-NN 和聚类的理论分析仍是开放性挑战。
• 结构化数据（如直方图和字符串）的度量学习尚不成熟，尽管近期方法如 GESL 在可扩展性和灵活性方面展现出前景。
• 在高维（$ d $）和大规模样本量（$ n $）下，可扩展性仍是主要限制，尤其对密集或核化度量而言。
• 未来方向包括学习更丰富、多模态的相似度度量，以及开发对噪声或变换不变的无监督或鲁棒度量学习策略。