[论文解读] A Well-Tempered Landscape for Non-convex Robust Subspace Recovery

Tyler Maunu, Teng Zhang+1 more|arXiv (Cornell University)|Feb 1, 2019

Statistical Methods and Inference被引用 29

一句话总结

该论文提出了一种在Grassmann流形上使用测地线梯度下降的非凸优化方法，用于鲁棒子空间恢复。在确定性数据条件下，证明了真实子空间是唯一的局部极小值点，并展示了使用分段常数步长的线性收敛性，该方法在Haystack模型上实现了最先进性能，包括在固定环境维数且样本量足够大时，对任意固定比例的异常值实现精确恢复。

ABSTRACT

We present a mathematical analysis of a non-convex energy landscape for robust subspace recovery. We prove that an underlying subspace is the only stationary point and local minimizer in a specified neighborhood under a deterministic condition on a dataset. If the deterministic condition is satisfied, we further show that a geodesic gradient descent method over the Grassmannian manifold can exactly recover the underlying subspace when the method is properly initialized. Proper initialization by principal component analysis is guaranteed with a simple deterministic condition. Under slightly stronger assumptions, the gradient descent method with a piecewise constant step-size scheme achieves linear convergence. The practicality of the deterministic condition is demonstrated on some statistical models of data, and the method achieves almost state-of-the-art recovery guarantees on the Haystack Model for different regimes of sample size and ambient dimension. In particular, when the ambient dimension is fixed and the sample size is large enough, we show that our gradient method can exactly recover the underlying subspace for any fixed fraction of outliers (less than 1).

研究动机与目标

• 在确定性数据条件下，为非凸优化在鲁棒子空间恢复中的理论保证提供依据。
• 证明在确定性条件下，真实子空间是邻域内唯一的驻点和局部极小值点。
• 证明当初始化得当时，Grassmann流形上的测地线梯度下降可精确恢复潜在子空间。
• 证明主成分分析在简单确定性条件下可作为有效的初始化方法。
• 在稍强假设下，通过分段常数步长方案实现线性收敛。

提出的方法

• 在Grassmann流形上为鲁棒子空间恢复构建非凸能量景观。
• 利用数据集的确定性条件分析该景观，以确保真实子空间是唯一的局部极小值点。
• 在Grassmann流形上使用测地线梯度下降进行优化，利用黎曼几何。
• 使用主成分分析作为在确定性条件下可保证有效的初始化方法。
• 采用分段常数步长方案，在更强假设下实现线性收敛。
• 在统计数据模型上验证确定性条件，以评估实际可行性。

实验结果

研究问题

• RQ1 在何种数据确定性条件下，真实子空间是Grassmann流形邻域内唯一的驻点和局部极小值点？
• RQ2 当初始化得当时，Grassmann流形上的测地线梯度下降能否精确恢复潜在子空间？
• RQ3 在所提出的确定性条件下，主成分分析是否为有效的初始化方法？
• RQ4 在稍强假设下，采用分段常数步长方案可实现何种收敛速率？
• RQ5 该方法在Haystack模型上，针对不同样本大小和环境维数的表现如何？

主要发现

• 当满足数据集的确定性条件时，真实子空间是指定邻域内唯一的驻点和局部极小值点。
• 在确定性条件下，当初始化得当时，Grassmann流形上的测地线梯度下降可实现精确子空间恢复。
• 在简单确定性条件下，主成分分析可保证提供有效的初始化。
• 在稍强假设下，通过分段常数步长方案，该方法可实现线性收敛。
• 该方法在Haystack模型上实现了近乎最先进水平的恢复保证，包括在环境维数固定且样本量足够大时，对任意固定比例的异常值实现精确恢复。