[论文解读] Local intrinsic dimensionality estimators based on concentration of measure

Jonathan Bac, Andreï Zinovyev|arXiv (Cornell University)|Jan 31, 2020

Neural Networks and Applications参考文献 35被引用 7

一句话总结

本文提出了两种基于高维数据中线性可分性和测度集中现象的新局部固有维度（ID）估计器。通过将数据点与超球面上的均匀参考分布进行可分性比较，该方法在多种数据集上均提供了稳定且准确的ID估计，FisherS与ESS在合成数据和真实数据上表现优异，尤其在邻域点数超过100时表现突出。

ABSTRACT

Intrinsic dimensionality (ID) is one of the most fundamental characteristics of multi-dimensional data point clouds. Knowing ID is crucial to choose the appropriate machine learning approach as well as to understand its behavior and validate it. ID can be computed globally for the whole data point distribution, or computed locally in different regions of the data space. In this paper, we introduce new local estimators of ID based on linear separability of multi-dimensional data point clouds, which is one of the manifestations of concentration of measure. We empirically study the properties of these estimators and compare them with other recently introduced ID estimators exploiting various effects of measure concentration. Observed differences between estimators can be used to anticipate their behaviour in practical applications.

研究动机与目标

• 开发基于测度集中现象的新局部固有维度（ID）估计器，以提升高维数据中的估计精度。
• 解决现有全局与局部ID估计器的局限性，如PCA方法的过估计或MLE、TwoNN方法在高维下的欠估计问题。
• 评估局部ID估计器在子采样和不同邻域大小下的稳定性、准确性和鲁棒性。
• 在多样化的合成与真实世界数据集上，比较基于测度集中现象的多种估计器（包括提出的FisherS与ESS）的性能。
• 证明基于全数据集可分性的全局点态ID估计（如FisherS）可捕捉局部与全局数据结构，提供互补的洞察。

提出的方法

• 提出一种基于点与其k个最近邻之间线性可分性概率的局部ID估计器，将其与n维球面上的均匀参考分布进行比较。
• 使用Fisher线性判别可分性作为几何复杂度的度量，其中更高的可分性对应更低的固有维度。
• 推导在超球面上均匀采样下可分性的参考分布，以校准数据中观察到的可分性。
• 采用统计检验将经验可分性与参考分布进行比较，以估计局部ID，假设测度集中现象导致高维下可分性降低。
• 将方法扩展至全局点态变体，评估每个点与整个数据集的可分性，而不仅限于其局部邻域。
• 在合成数据集（如球体、超立方体、瑞士卷）与真实数据集（如MNIST、ISOMAP Faces）上进行基准测试，通过不同子采样大小评估稳定性与准确性。

实验结果

研究问题

• RQ1 基于线性可分性与测度集中的局部ID估计器在多样化合成与真实世界数据集上的表现如何？
• RQ2 邻域大小与子采样大小对这些估计器的稳定性与准确性有何影响？
• RQ3 所提出的估计器（FisherS与ESS）与DANCo、TwoNN、TLE等现有方法相比，在一致性与鲁棒性方面表现如何？
• RQ4 基于全数据集可分性的全局点态ID估计是否能为局部k-NN估计提供互补的洞察？
• RQ5 估计器行为的差异在多大程度上反映了底层数据拓扑结构，如非平凡聚类或流形结构？

主要发现

• 基于Fisher可分性的FisherS估计器在邻域点数为100或以上时，能提供稳定且准确的局部ID估计。
• FisherS与ESS在各数据集上表现出强一致性，其中ESS在高维球体内均匀分布中表现更优，而FisherS在ISOMAP Faces等真实数据集上估计更准确。
• TwoNN与TLE在高维设置下显著低估ID，尤其在均匀采样分布及复杂流形（如瑞士卷）中表现明显。
• DANCo与TwoNN在瑞士卷的全局ID估计中表现良好，但其局部估计对子采样大小高度敏感，表明小样本下存在不稳定性。
• FisherS的全局点态变体能够捕捉局部与全局数据结构，相较于纯局部估计器，提供了更全面的数据几何视图。
• 本研究证实，基于测度集中的估计器（包括所提出的估计器）在3至数十的ID范围内具有适用性，即使在相对较小样本下亦表现良好。