[论文解读] Perturbation Bounds for Procrustes, Classical Scaling, and Trilateration, with Applications to Manifold Learning

Ery Arias-Castro, Adel Javanmard+1 more|arXiv (Cornell University)|Oct 22, 2018

Indoor and Outdoor Localization Technologies参考文献 45被引用 12

一句话总结

本文为Procrustes分析、经典标度法和三边测量法建立了新颖的扰动界，这些是等距嵌入方法（如Isomap、Landmark Isomap和最大方差展开）中的关键组件。作者在数据扰动下推导出紧致的误差界，首次为这些算法的等距嵌入变体提供了性能保证，适用于噪声环境下的鲁棒降维与定位。

ABSTRACT

One of the common tasks in unsupervised learning is dimensionality reduction, where the goal is to find meaningful low-dimensional structures hidden in high-dimensional data. Sometimes referred to as manifold learning, this problem is closely related to the problem of localization, which aims at embedding a weighted graph into a low-dimensional Euclidean space. Several methods have been proposed for localization, and also manifold learning. Nonetheless, the robustness property of most of them is little understood. In this paper, we obtain perturbation bounds for classical scaling and trilateration, which are then applied to derive performance bounds for Isomap, Landmark Isomap, and Maximum Variance Unfolding. A new perturbation bound for procrustes analysis plays a key role.

研究动机与目标

• 为解决现有理论对Isomap和MVU等经典流形学习算法鲁棒性理解的不足。
• 为Procrustes分析、经典标度法和三边测量法——这些定位与降维中的核心子程序——推导严格的扰动界。
• 通过所推导的扰动界，建立Isomap、Landmark Isomap和最大方差展开的性能保证。
• 为基于地标的方法在流形学习中的鲁棒性提供理论基础，尤其在距离数据存在噪声或损坏时。
• 分析当输入相异度矩阵受到扰动时嵌入过程的统计稳定性，应用于存在测量误差的真实世界数据。

提出的方法

• 利用矩阵扰动理论，推导出正交Procrustes分析的新扰动界，作为后续界推导的关键构建模块。
• 通过分析双中心化相异度矩阵后特征分解的敏感性，建立经典标度法的扰动界。
• 通过将嵌入误差建模为地标点精度和距离噪声的函数，为三边测量法（特别是de Silva和Tenenbaum的方法）提供扰动界。
• 将所推导的界应用于分析Isomap、Landmark Isomap和最大方差展开在输入距离矩阵扰动下的鲁棒性。
• 利用随机矩阵理论中的集中不等式（Tropp, 2015），界定随机采样地标集的半宽，以确保嵌入的稳定性。
• 结合理论界与涉及路径长度和勾股型不等式的几何论证，控制三边测量中误差的传播。

实验结果

研究问题

• RQ1 经典标度法对输入相异度矩阵的扰动有多敏感，其导致的嵌入误差是否存在紧致界？
• RQ2 三边测量对地标间距离噪声的鲁棒性如何，非地标点嵌入时误差如何传播？
• RQ3 Procrustes分析的扰动界能否用于推导Isomap和MVU等流形学习算法的性能保证？
• RQ4 地标点的选择如何影响Landmark Isomap的稳定性和准确性，需要多大的样本量才能实现可靠嵌入？
• RQ5 Isomap和MVU的等距嵌入变体是否存在理论性能保证，其性能如何依赖于数据扰动？

主要发现

• 本文首次提出经典标度法的真正扰动界，相较于Sibson的一阶泰勒近似，提供了非渐近、量化的误差界。
• 推导出新的Procrustes分析扰动界，这对分析经典标度法的稳定性至关重要，尽管该方法已长期使用，但此界仍属新颖。
• 对于三边测量，作者推导出扰动界，表明在几何约束下，嵌入误差与噪声水平相对于最小地标间距离的平方成正比。
• 对Landmark Isomap的性能进行了严格分析，其界表明嵌入误差依赖于地标数量以及通过经典标度法实现的地标嵌入稳定性。
• 首次为Isomap和最大方差展开的等距嵌入形式建立了理论保证，标志着这些算法首次获得性能边界。
• 通过随机矩阵集中不等式分析了地标选择的稳定性，表明当样本量满足 $\ell \gtrsim \frac{\rho_{\infty}^2}{\omega^2} \log d$ 时，以高概率可保证地标集保持数据的内在几何结构。