[论文解读] On Kernelization of Supervised Mahalanobis Distance Learners

Ratthachat Chatpatanasiri, Teesid Korsrilabutr+2 more|ArXiv.org|Apr 9, 2008

Face and Expression Recognition参考文献 28被引用 16

一句话总结

本文提出了一种新颖的KPCA技巧框架，用于将监督型马氏距离学习器（NCA、LMNN和DNE）核化，而无需推导新的数学公式或重新编程。该工作形式化证明了核化的表示定理，提出了高效的核构造方法（核对齐与无权重核组合），并在27个真实世界数据集上一致地实现了性能提升，同时相比交叉验证显著减少了运行时间。

ABSTRACT

This paper focuses on the problem of kernelizing an existing supervised Mahalanobis distance learner. The following features are included in the paper. Firstly, three popular learners, namely, "neighborhood component analysis", "large margin nearest neighbors" and "discriminant neighborhood embedding", which do not have kernel versions are kernelized in order to improve their classification performances. Secondly, an alternative kernelization framework called "KPCA trick" is presented. Implementing a learner in the new framework gains several advantages over the standard framework, e.g. no mathematical formulas and no reprogramming are required for a kernel implementation, the framework avoids troublesome problems such as singularity, etc. Thirdly, while the truths of representer theorems are just assumptions in previous papers related to ours, here, representer theorems are formally proven. The proofs validate both the kernel trick and the KPCA trick in the context of Mahalanobis distance learning. Fourthly, unlike previous works which always apply brute force methods to select a kernel, we investigate two approaches which can be efficiently adopted to construct an appropriate kernel for a given dataset. Finally, numerical results on various real-world datasets are presented.

研究动机与目标

• 解决现有流行监督型马氏距离学习器（如NCA、LMNN和DNE）缺乏非线性扩展的问题。
• 开发一种用户友好的核化框架，避免手动推导公式和重新编程。
• 在希尔伯特空间中，形式化证明马氏距离学习的表示定理，验证核化技术的有效性。
• 提出高效且可扩展的核构造方法，避免依赖暴力的交叉验证。
• 通过实证研究证明，核化后的马氏距离学习器在真实世界数据集上优于其原始版本。

提出的方法

• 引入“KPCA技巧”框架，通过KPCA将数据映射到特征空间，从而在不修改原始算法数学公式的前提下实现核化。
• 证明了两个表示定理，形式化验证了在可分希尔伯特空间中，核技巧与KPCA技巧在马氏距离学习中的有效性。
• 提出两种核构造方法：核对齐与基础核的无权重组合，均旨在降低计算成本。
• 将KPCA技巧应用于三种学习器（NCA、LMNN、DNE），实现非线性马氏距离学习，而无需重新实现。
• 采用顺序添加基础核的策略，以分析泛化稳定性并避免无权重核组合中的过拟合。
• 以交叉验证作为性能比较的基线，同时优先采用对齐与无权重核方法以提升效率。

实验结果

研究问题

• RQ1 KPCA技巧框架是否可在不推导新数学公式或重写代码的前提下，用于核化现有马氏距离学习器？
• RQ2 形式化证明的表示定理是否能为在可分希尔伯特空间中使用核化技术于马氏距离学习提供理论支持？
• RQ3 核对齐与无权重核组合方法是否在性能与运行效率上均优于暴力交叉验证？
• RQ4 马氏距离学习器的核化是否能在多种真实世界数据集中实现一致的性能提升？
• RQ5 在使用无权重核时，即使基础核数量庞大，是否仍能避免过拟合？

主要发现

• 在27个数据集中的18个上，核化后的NCA、LMNN和DNE表现优于其原始版本，6个数据集上表现相当，仅在3个数据集上原始版本更优。
• 无权重核方法在添加10至14个基础核后达到稳定的泛化性能，表明即使特征空间增大，也未出现过拟合。
• 交叉验证的运行时间高达每数据集数小时，而无权重核仅需数秒，核对齐也仅需数分钟。
• 对齐核的性能略优于无权重核，但后者在性能与效率之间提供了极佳的平衡，尤其适用于NCA（其无需指定目标邻居）。
• 核对齐方法在多峰数据集上表现不佳，因其倾向于使同类别点坍缩，限制了在该类数据上的有效性。
• 理论与实证结果共同证实，KPCA技巧与核化方法在数学上成立且有效，形式化表示定理提供了坚实的理论基础。