[论文解读] DANCo: Dimensionality from Angle and Norm Concentration

Claudio Ceruti, Simone Bassis+4 more|arXiv (Cornell University)|Jun 18, 2012

Neural Networks and Applications参考文献 40被引用 13

一句话总结

本文提出DANCo，一种新颖的内在维度估计方法，通过利用高维数据中角度联合集中性与归一化最近邻距离的特性。通过使用冯·米塞斯分布和广义伽马分布对这些几何特征的分布进行建模，并以闭式表达计算其Kullback-Leibler散度，DANCo在高内在维度和非线性嵌入流形上展现出更优的鲁棒性与准确性——在合成数据与真实数据集上均优于最先进方法，真实数据集上的平均百分比误差（MPE）为9.47%，且在不同k值与N值下表现出完美稳定性。

ABSTRACT

In the last decades the estimation of the intrinsic dimensionality of a dataset has gained considerable importance. Despite the great deal of research work devoted to this task, most of the proposed solutions prove to be unreliable when the intrinsic dimensionality of the input dataset is high and the manifold where the points lie is nonlinearly embedded in a higher dimensional space. In this paper we propose a novel robust intrinsic dimensionality estimator that exploits the twofold complementary information conveyed both by the normalized nearest neighbor distances and by the angles computed on couples of neighboring points, providing also closed-forms for the Kullback-Leibler divergences of the respective distributions. Experiments performed on both synthetic and real datasets highlight the robustness and the effectiveness of the proposed algorithm when compared to state of the art methodologies.

研究动机与目标

• 为解决现有估计器在高维非线性嵌入数据集中持续低估内在维度的问题。
• 提升内在维度估计对噪声、维度灾难和边界效应的鲁棒性。
• 开发一种有效结合几何特征（相邻点之间的角度与归一化距离）的方法，以实现更准确且稳定的估计。
• 提供一个理论基础坚实的估计器，其闭式Kullback-Leibler散度表达式可实现与合成参考分布的高效比较。
• 在多样化的合成与真实世界数据集上超越最先进方法，尤其在高维与噪声环境下表现优异。

提出的方法

• DANCo使用广义伽马分布对归一化最近邻距离的分布进行建模，使用冯·米塞斯分布对相邻点之间角度的分布进行建模。
• 计算数据中这些特征的经验分布与基于已知内在维度的合成数据集所导出的理论分布之间的Kullback-Leibler散度。
• 该方法使用KL散度的闭式表达式，实现对不同维度假设下的高效且稳定比较。
• 对于每个候选维度d，DANCo估计观测到的几何特征与在d下预期分布之间的KL散度，并选择使该散度最小的d作为估计结果。
• 该算法设计为对参数k（邻居数量）和数据集大小N具有鲁棒性，如在不同k与N下均保持一致的性能所证明。
• 它整合了角度与基于范数的信息，减少对任一特征的依赖，缓解了正交性与边界效应等问题。

实验结果

研究问题

• RQ1 联合建模角度与归一化距离的集中性是否能提升高维非线性嵌入流形中内在维度估计的性能？
• RQ2 在高内在维度（d ≥ 10）的数据集中，所提方法相较于最先进估计器的表现如何？
• RQ3 与基于PCA和几何方法相比，DANCo在内在维度估计中减少低估偏差的程度如何？
• RQ4 DANCo对邻居数k与数据集大小N的变化有多大的鲁棒性？
• RQ5 冯·米塞斯与广义伽马分布的闭式KL散度表达式是否能实现准确且高效的维度估计？

主要发现

• 在合成数据集上，DANCo在所有测试流形中实现了最低的平均百分比误差（MPE）13.32%，优于所有其他估计器。
• 在真实世界数据集上，DANCo整体表现最佳，MPE为9.47%，显著优于BPCA（62.92%）、SPPCA（79.37%）和MLE（18.17%）。
• 在噪声的Isolet数据集上（真实d ≈ 16–22），DANCo估计出d = 19.00，与所有方法中最佳结果极为接近。
• 在Santa Fe数据集上（真实d = 9），DANCo估计出d = 8.19，显著优于MLE（7.16）和IDEA（7.26），甚至超过基于校正的MiND_KL方法。
• DANCo在所有测试配置中表现出完美鲁棒性：对于N ∈ {200, 500, 1000, 2000} 与 k ∈ {5..100}，其对R^5中标准高斯数据的真实维度5的估计始终一致。
• 该方法的闭式KL散度计算实现了稳定且高效的估计，无需迭代优化或参数调优。