[论文解读] Minimum Density Hyperplanes

Nicos G. Pavlidis, David P. Hofmeyr+1 more|arXiv (Cornell University)|Jul 15, 2015

Face and Expression Recognition参考文献 50被引用 3

一句话总结

本文提出最小密度超平面，一种新型分类器，通过最小化超平面上的经验密度积分来分离聚类，从而避开高密度区域。它证明了最小密度超平面与最大间隔超平面之间的渐近等价性，将其与支持向量机（SVM）和半监督学习联系起来，并提出一种投影追踪方法以实现高效计算，且在实验中表现出强劲的性能。

ABSTRACT

Associating distinct groups of objects (clusters) with contiguous regions of high probability density (high-density clusters), is central to many statistical and machine learning approaches to the classification of unlabelled data. We propose a novel hyperplane classifier for clustering and semi-supervised classification which is motivated by this objective. The proposed minimum density hyperplane minimises the integral of the empirical probability density function along it, thereby avoiding intersection with high density clusters. We show that the minimum density and the maximum margin hyperplanes are asymptotically equivalent, thus linking this approach to maximum margin clustering and semi-supervised support vector classifiers. We propose a projection pursuit formulation of the associated optimisation problem which allows us to find minimum density hyperplanes efficiently in practice, and evaluate its performance on a range of benchmark datasets. The proposed approach is found to be very competitive with state of the art methods for clustering and semi-supervised classification.

研究动机与目标

• 开发一种基于超平面的分类器，通过避开高密度区域来分离聚类，符合低密度分离的统计原则。
• 通过聚焦于局部密度特性而非全局密度估计，解决现有基于密度的聚类方法在高维空间中的局限性。
• 提供一种统计上合理的算法，用于估计明确定义的总体量（密度水平集），而无需强参数假设。
• 通过证明最小密度超平面与最大间隔超平面之间的渐近等价性，弥合最大间隔方法（如SVM）与基于密度的聚类之间的差距。
• 通过利用未标记数据和低密度分离假设，实现有效的半监督分类。

提出的方法

• 提出最小密度超平面，通过最小化超平面上的经验概率密度函数的积分，确保避开高密度聚类。
• 采用投影追踪公式以高效求解非凸优化问题，实现在高维空间中的实际计算。
• 使用带宽参数 h 的核密度估计来近似经验密度函数。
• 证明当带宽 h → 0 时，在唯一性假设下，最小密度超平面收敛于最大间隔超平面。
• 基于支持向量与间隔约束的几何论证，表明任何与最小密度解接近的超平面，也必与最大间隔解接近。
• 利用引理，以间隔偏差和范数约束为条件，界定最小密度超平面与最大间隔超平面之间的距离。

实验结果

研究问题

• RQ1 能否通过最小化超平面表面的经验密度积分，以统计上合理的方式有效分离高密度聚类？
• RQ2 在标准假设下，最小密度超平面是否与最大间隔超平面渐近等价？
• RQ3 尽管优化问题具有非凸性，最小密度超平面能否在实践中高效计算？
• RQ4 在基准数据集上，该方法与最先进聚类与半监督分类算法相比性能如何？
• RQ5 最小密度超平面是否继承了半监督学习中低密度分离假设的泛化优势？

主要发现

• 最小密度超平面与最大间隔超平面渐近等价，建立了基于密度与基于间隔分类之间的理论联系。
• 所提出的投影追踪公式使最小密度超平面在高维数据中也能高效计算。
• 该方法在基准数据集上表现具有竞争力，在聚类与半监督分类任务中优于或匹配最先进方法。
• 收敛结果表明，当带宽 h 足够小时，最小密度超平面诱导的样本划分与最大间隔超平面相同。
• 证明表明，任何与最小密度解距离在 ε 以内的超平面，也必与最大间隔解距离在 ε 以内，证实了渐近一致性。
• 该方法对高维数据具有鲁棒性，避免了传统非参数密度估计所受的维度灾难影响。