[论文解读] Kernel Scaling for Manifold Learning and Classification

Ofir Lindenbaum, Moshe Salhov+2 more|arXiv (Cornell University)|Jul 4, 2017

Anomaly Detection Techniques and Applications参考文献 43被引用 4

一句话总结

本文提出基于数据驱动的方法，自动选择流形学习与分类任务中的最优核带宽，避免迭代重新训练分类器。提出一种基于内在维数感知的贪心算法，以及三种面向分类任务的带宽估计技术，实验证明在合成数据集与真实数据集（包括地震事件分类）上性能显著提升。

ABSTRACT

Kernel methods play a critical role in many machine learning algorithms. They are useful in manifold learning, classification, clustering and other data analysis tasks. Setting the kernel's scale parameter, also referred to as the kernel's bandwidth, highly affects the performance of the task in hand. We propose to set a scale parameter that is tailored to one of two types of tasks: classification and manifold learning. For manifold learning, we seek a scale which is best at capturing the manifold's intrinsic dimension. For classification, we propose three methods for estimating the scale, which optimize the classification results in different senses. The proposed frameworks are simulated on artificial and on real datasets. The results show a high correlation between optimal classification rates and the estimated scales. Finally, we demonstrate the approach on a seismic event classification task.

研究动机与目标

• 解决核方法中选择最优核带宽（尺度参数）这一关键挑战，该参数在流形学习与分类任务中显著影响性能。
• 提出一种方法，通过与数据的内在维数对齐，专门估计适用于流形学习的带宽。
• 提出三种面向分类任务的带宽估计技术，优化性能，且无需重复应用分类器。
• 在人工数据集与真实世界数据集（包括地震事件分类任务）上验证所提方法的有效性。
• 提供一种框架，避免依赖交叉验证或迭代重新训练进行带宽选择，提升效率与可扩展性。

提出的方法

• 使用DANCo方法基于最近邻距离与向量的角浓度估计数据的内在维数。
• 提出一种贪心算法，计算特征维度的带宽向量 $\boldsymbol{\epsilon} = [\epsilon_1, \dots, \epsilon_D]$，其中每个 $\epsilon_i$ 用于重标定第 $i$ 个特征，以最好地保持估计的内在维数。
• 针对分类任务，引入三种带宽估计方法：一种基于最大化类均值间分离度，一种基于最小化类内方差，一种基于类可分性的几何度量。
• 应用形式为 $K_{ij} = \exp\left(-\frac{||\mathbf{x}_i - \mathbf{x}_j||^2}{\epsilon}\right)$ 的核函数，其中 $\epsilon$ 通过所提方法估计，而非使用启发式或交叉验证的值。
• 使用Kullback-Leibler散度比较真实数据与 $d$ 维超球面的角分布与距离分布，以优化内在维数估计。
• 将估计的带宽集成到扩散映射与基于核的分类器中，评估性能时无需为每个 $\epsilon$ 重新训练分类器。

实验结果

研究问题

• RQ1 在无监督流形学习中，如何选择核带宽以最好地保持流形的内在维数？
• RQ2 何种带宽估计策略可在不重复训练分类器或交叉验证的前提下最大化分类准确率？
• RQ3 特征维度带宽选择策略是否能在流形学习与分类任务中均提升性能？
• RQ4 与标准启发式方法（如使用均方距离作为 $\epsilon$）相比，所提带宽估计方法在分类准确率与鲁棒性方面表现如何？
• RQ5 所提方法在真实世界应用（如地震事件分类）中，能在多大程度上实现有意义核尺度的自动化选择？

主要发现

• 所提带宽估计方法在多个数据集上显示出估计尺度与最优分类准确率之间的高度相关性。
• 基于内在维数感知的贪心带宽选择方法在已知维数的合成数据集上有效捕捉了真实的流形结构。
• 三种面向分类优化的带宽估计方法相比标准启发式方法（如使用均方距离作为 $\epsilon$）显著提升了分类性能。
• 在地震事件分类任务中，所提方法成功学习到有意义的核尺度，提升了分类准确率，且无需人工调参。
• 该框架减少了对计算成本高昂的交叉验证或迭代重新训练的依赖，提供了一种更快、更具可扩展性的替代方案。
• 结合DANCo进行内在维数估计与基于KL散度的模型比较，提升了高维设置下带宽选择的准确性。