[論文レビュー] A Well-Tempered Landscape for Non-convex Robust Subspace Recovery

Tyler Maunu, Teng Zhang+1 more|arXiv (Cornell University)|Feb 1, 2019

Statistical Methods and Inference被引用数 29

ひとこと要約

本稿では、グラスマン多様体上の地味的勾配降下法を用いて、非凸最適化アプローチを提示する。決定的データ条件のもとで、真の部分空間が一意の局所最小解として正確に回復され、ステップサイズを区分的定数とする線形収束が示され、ハイスティックモデルにおいて最先端の性能を達成する。環境次元が固定で標本サイズが十分に大きい場合、任意の固定された外れ値割合に対しても正確な回復が可能である。

ABSTRACT

We present a mathematical analysis of a non-convex energy landscape for robust subspace recovery. We prove that an underlying subspace is the only stationary point and local minimizer in a specified neighborhood under a deterministic condition on a dataset. If the deterministic condition is satisfied, we further show that a geodesic gradient descent method over the Grassmannian manifold can exactly recover the underlying subspace when the method is properly initialized. Proper initialization by principal component analysis is guaranteed with a simple deterministic condition. Under slightly stronger assumptions, the gradient descent method with a piecewise constant step-size scheme achieves linear convergence. The practicality of the deterministic condition is demonstrated on some statistical models of data, and the method achieves almost state-of-the-art recovery guarantees on the Haystack Model for different regimes of sample size and ambient dimension. In particular, when the ambient dimension is fixed and the sample size is large enough, we show that our gradient method can exactly recover the underlying subspace for any fixed fraction of outliers (less than 1).

研究の動機と目的

• 決定的データ条件下における非凸最適化の理論的保証を確立すること。
• 決定的条件下で真の部分空間が近傍において唯一の停留点かつ局所最小解であることを証明すること。
• 適切に初期化された場合に、グラスマン多様体上での地み的勾配降下法が、元の部分空間を正確に回復できることを示すこと。
• 単純な決定的条件下で、主成分分析が有効な初期化手法であることを示すこと。
• やや強い仮定のもとで、区分的定数ステップサイズスキームを用いて線形収束を達成すること。

提案手法

• グラスマン多様体上でのロバスト部分空間回復のための非凸エネルギー・ランドスケープを定式化する。
• データセットに対する決定的条件を用いてランドスケープを分析し、真の部分空間が一意の局所最小解であることを保証する。
• リーマン幾何学を活用して、グラスマン多様体上での最適化に地み的勾配降下法を適用する。
• 単純な決定的条件下で保証される、適切な初期化手法として主成分分析を用いる。
• やや強い仮定のもとで、区分的定数ステップサイズスキームを用いて線形収束を達成する。
• 統計的データモデルにおける決定的条件の妥当性を検証し、実用的妥当性を評価する。

実験結果

リサーチクエスチョン

• RQ1 データに対するどのような決定的条件下で、真の部分空間がグラスマン多様体の近傍において唯一の停留点かつ局所最小解となるか？
• RQ2 適切に初期化された場合に、グラスマン多様体上での地み的勾配降下法は、元の部分空間を正確に回復できるか？
• RQ3 提案された決定的条件下で、主成分分析は有効な初期化手法とみなせるか？
• RQ4 わずかに強い仮定のもとで、区分的定数ステップサイズスキームを用いた場合に達成可能な収束速度は何か？
• RQ5 本手法は、さまざまな標本サイズと環境次元におけるハイスティックモデルでどのように性能を発揮するか？

主な発見

• データセットに対する決定的条件が満たされれば、指定された近傍において真の部分空間が唯一の停留点かつ局所最小解である。
• 決定的条件下で適切に初期化された場合、グラスマン多様体上での地み的勾配降下法は正確な部分空間回復を達成する。
• 単純な決定的条件下では、主成分分析が適切な初期化を保証する。
• やや強い仮定のもとで、区分的定数ステップサイズスキームを用いることで、線形収束が達成される。
• ハイスティックモデルにおいて、ほぼ最先端の回復保証を達成し、環境次元が固定で標本サイズが十分に大きい場合、任意の固定された外れ値割合に対しても正確な回復が可能である。