[论文解读] Metric Learning via Maximizing the Lipschitz Margin Ratio

Mingzhi Dong, Xiaochen Yang+2 more|arXiv (Cornell University)|Feb 9, 2018

Face and Expression Recognition参考文献 15被引用 3

一句话总结

该论文提出了一种新颖的度量学习框架——Lipschitz边界比（Lipschitz margin ratio），通过最大化类间分离度与类内离散度的比值，联合优化类间边界和类内紧凑性。该方法通过理论基础坚实的优化策略提升泛化能力，可统一现有算法（如LMNN和MCML），在八个基准数据集上实现最先进性能，准确率与鲁棒性均得到提升。

ABSTRACT

In this paper, we propose the Lipschitz margin ratio and a new metric learning framework for classification through maximizing the ratio. This framework enables the integration of both the inter-class margin and the intra-class dispersion, as well as the enhancement of the generalization ability of a classifier. To introduce the Lipschitz margin ratio and its associated learning bound, we elaborate the relationship between metric learning and Lipschitz functions, as well as the representability and learnability of the Lipschitz functions. After proposing the new metric learning framework based on the introduced Lipschitz margin ratio, we also prove that some well known metric learning algorithms can be shown as special cases of the proposed framework. In addition, we illustrate the framework by implementing it for learning the squared Mahalanobis metric, and by demonstrating its encouraging results on eight popular datasets of machine learning.

研究动机与目标

• 开发一种统一的度量学习框架，整合类间边界与类内离散度，以提升泛化性能。
• 建立度量学习与Lipschitz函数之间的几何与理论联系，实现更强的表征能力与可学习性。
• 证明知名度量学习算法（如LMNN、MCML）可作为所提框架的特例。
• 通过在多种数据集上实现基于平方马氏距离的度量学习，实证验证该框架的有效性。

提出的方法

• 将Lipschitz边界比定义为类间边界与类内离散度的比值，并基于Lipschitz函数理论进行形式化。
• 推导泛化误差界，为最大化Lipschitz边界比以提升分类器泛化能力提供理论依据。
• 通过最大化Lipschitz边界比，提出一种凸优化框架用于度量学习，结合直径项与类内项实现自适应正则化。
• 采用ADMM与CVX实现高效优化，应用于平方马氏距离度量学习。
• 将该框架应用于学习距离度量，以提升最近邻分类的性能。
• 采用对偶形式处理优化过程中Lipschitz常数的非光滑性问题。

实验结果

研究问题

• RQ1 能否构建一种统一的度量学习框架，同时优化类间边界与类内紧凑性？
• RQ2 Lipschitz边界比与度量学习中的泛化性能有何关系？
• RQ3 现有度量学习算法是否可被解释为基于Lipschitz边界比的更广泛框架的特例？
• RQ4 最大化Lipschitz边界比是否能在多种数据集上提升分类准确率？
• RQ5 在存在类内异常值或噪声数据的情况下，该方法表现如何？

主要发现

• 所提出的Lip D与Lip I方法在八个数据集中的四个上达到最高平均准确率，其中Lip I在Fertility数据集上优于所有基线方法。
• 在Australian数据集上，Lip D与Lip I的平均准确率达到80.90%，超过LMNN（79.96%）与MCML（79.89%）。
• 在Fourclass数据集上，Lip D与Lip I的准确率达到99.91%，与所有方法的最佳表现持平。
• 该方法在七项数据集上优于1-NN与NCA，在五项数据集上优于LMNN与MCML。
• 除Fertility数据集外，该方法与LMNN或MCML的性能差距均小于0.5%；在Fertility数据集上表现较差，原因在于类内异常值的影响。
• 该框架被证明可统一LMNN与MCML作为特例，验证了其理论普适性。