[论文解读] Diverse Landmark Sampling from Determinantal Point Processes for Scalable Manifold Learning

Christian Wachinger, Polina Golland|arXiv (Cornell University)|Mar 11, 2015

3D Shape Modeling and Analysis参考文献 37被引用 7

一句话总结

该论文提出了一种高效的、线性时间的确定性点过程（DPP）近似方法，用于大规模流形学习中的多样化地标采样。通过利用基于巴氏距离的邻域选择来保留局部几何结构，该方法在嵌入质量与分类性能方面优于当前最先进技术，且具有显著的运行时间优势。

ABSTRACT

High computational costs of manifold learning prohibit its application for large point sets. A common strategy to overcome this problem is to perform dimensionality reduction on selected landmarks and to successively embed the entire dataset with the Nyström method. The two main challenges that arise are: (i) the landmarks selected in non-Euclidean geometries must result in a low reconstruction error, (ii) the graph constructed from sparsely sampled landmarks must approximate the manifold well. We propose the sampling of landmarks from determinantal distributions on non-Euclidean spaces. Since current determinantal sampling algorithms have the same complexity as those for manifold learning, we present an efficient approximation running in linear time. Further, we recover the local geometry after the sparsification by assigning each landmark a local covariance matrix, estimated from the original point set. The resulting neighborhood selection based on the Bhattacharyya distance improves the embedding of sparsely sampled manifolds. Our experiments show a significant performance improvement compared to state-of-the-art landmark selection techniques.

研究动机与目标

• 解决大规模流形学习中DPP采样带来的高计算成本问题。
• 实现能够保留流形结构并最小化重构误差的多样化地标选择。
• 通过局部协方差估计改进稀疏采样流形上的邻域图构建。
• 为非欧几里得几何设计一种适合的线性时间DPP采样近似方法。
• 在低维嵌入质量和分类性能方面优于现有地标选择方法。

提出的方法

• 提出一种高效的、线性时间的DPP采样近似方法，通过局部更新将复杂度从O(n³)降低至O(ndk)。
• 用通过图最短路径近似的测地距离替代欧几里得距离，以尊重非欧几里得流形几何结构。
• 从原始点集中估计每个地标周围的局部协方差矩阵，以保留局部结构。
• 在图构建阶段使用多变量正态分布之间的巴氏距离进行鲁棒的邻域选择。
• 应用Nyström方法，利用稀疏地标集和重构的核矩阵对完整数据集进行嵌入。
• 将地标采样与局部几何恢复相结合，以提升谱嵌入质量。

实验结果

研究问题

• RQ1 能否为非欧几里得空间中的大规模流形学习设计一种高效、线性时间的DPP采样近似方法？
• RQ2 与均匀采样或基于K-means的方法相比，基于DPP的地标选择是否能实现更低的重构误差和更好的流形近似？
• RQ3 局部协方差估计与巴氏距离能否改进稀疏采样流形上的邻域图构建？
• RQ4 与当前最先进的地标选择技术相比，该方法在分类性能和运行时间上的表现如何？
• RQ5 将多样化采样与局部几何恢复相结合，是否比使用启发式地标选择的标准Nyström嵌入更鲁棒？

主要发现

• 在MNIST数据集上，所提出的高效DPP采样方法在分类性能上显著优于K-means++初始化和均匀采样。
• 在MNIST数据集上，基于DPP的采样方法在分类准确率上显著优于K-means++，且通过巴氏距离图构建进一步提升了性能。
• 在头颈部CT扫描实验中，基于DPP的方法在分类准确率上优于K-means++和均匀采样，且相比优化后的K-means实现具有15%的运行时间优势。
• 基于巴氏距离的邻域选择在两个数据集上均提升了嵌入质量，证明了其在稀疏采样下的鲁棒性。
• 线性时间DPP近似实现了可扩展的地标选择，同时不损失多样性或重构准确性。
• 运行时间测量显示，所提出的DPP采样方法的未优化Matlab实现比优化后的K-means MEX版本更快，表明其具有强大的计算效率。