[論文レビュー] Robust PCA by Manifold Optimization

Teng Zhang, Yi Yang|arXiv (Cornell University)|Aug 1, 2017

Sparse and Compressive Sensing Techniques参考文献 36被引用数 19

ひとこと要約

本稿では、Burer-Monterio分解を用いてデータ行列の低ランク構造をパrameter化することで、ロバストPCAのための2つの多様体最適化アルゴリズムを提案する。適切な初期化のもとで、これらのアルゴリズムは真の低ランク行列へ線形収束し、先行手法と比較して、元の行列の条件数に依存する理論的依存度を低減する。

ABSTRACT

Robust PCA is a widely used statistical procedure to recover a underlying low-rank matrix with grossly corrupted observations. This work considers the problem of robust PCA as a nonconvex optimization problem on the manifold of low-rank matrices, and proposes two algorithms (for two versions of retractions) based on manifold optimization. It is shown that, with a proper designed initialization, the proposed algorithms are guaranteed to converge to the underlying low-rank matrix linearly. Compared with a previous work based on the Burer-Monterio decomposition of low-rank matrices, the proposed algorithms reduce the dependence on the conditional number of the underlying low-rank matrix theoretically. Simulations and real data examples confirm the competitive performance of our method.

研究の動機と目的

• 高次元データにおける著しく汚染された観測から低ランク行列を回復する課題に対処すること。
• 1回の反復あたり$O(n_1n_2\min(n_1,n_2))$の計算複雑度を示す凸緩和手法の限界を克服すること。
• 低ランク行列の多様体上での非凸最適化フレームワークを構築し、より高速かつスケーラブルな回復を達成すること。
• 先行の非凸手法（例：Burer-Monterioに基づく手法）と比較して、元の低ランク行列の条件数に依存する理論的依存度を低減すること。
• 適切な初期化戦略により線形収束を保証し、実用的状況でのロバスト性と効率性を向上させること。

提案手法

• 低ランク行列$\boldsymbol{L}^*$を$\boldsymbol{U}\boldsymbol{V}^T$としてパrameter化することで、ロバストPCAを低ランク行列の多様体上での非凸最適化問題として定式化する。
• 再帰的写像（retractions）とベクトル輸送（vector transport）を用いた多様体最適化技術を活用し、非凸な多様体構造を効率的に探索する。
• 数値的安定性と収束保証を確保するため、異なる再帰的写像スキームに基づく2つのアルゴリズムを設計する。
• 内在的な幾何構造を活かしてパrameter化の冗長性を回避するように、低ランク行列の多様体上での勾配降下法を適用する。
• 反復値が真の低ランク行列の近傍にとどまるように、特化した初期化手順を導入する。
• 濃縮不等式とネット近似を用いて、スパースノイズ$\boldsymbol{S}^*$が最適化経路に与える影響を制限し、ロバスト性を保証する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列の多様体上での非凸最適化により、理論的収束保証を伴うロバストPCAを効率的に解くことは可能か？
• RQ2 提案手法は、既存のBurer-Monterioに基づく手法と比較して、元の低ランク行列の条件数に依存する理論的依存度をどのように低減するか？
• RQ3 どの初期化戦略が最適化アルゴリズムの真の低ランク行列への線形収束を保証するか？
• RQ4 多様体最適化フレームワークは、データに高いスパースノイズが存在する状況でもロバスト性を維持できるか？
• RQ5 凸緩和法や標準的な非凸手法と比較して、本手法はより高速な収束と低い計算コストを達成できるか？

主な発見

• 適切な初期化のもとで、提案手法は真の低ランク行列$\boldsymbol{L}^*$へ収束率が独立した線形収束を達成する。
• 理論的解析により、本手法は先行のBurer-Monterioに基づく手法と比較して、条件数$\kappa$への依存度を低減していることが示された。先行手法は$O(1/\kappa^2)$に比例するが、本手法はその依存度を軽減している。
• 1反復あたりの計算複雑度が$O(r n_1 n_2)$に抑えられ、最良の非凸手法と同等の性能を達成しているが、理論的ロバスト性が向上している。
• シミュレーションおよび実データ実験により、回復精度と計算効率の両面で競争力のある性能を示した。
• 高確率で、汚染エントリの割合$\gamma = O(1/\mu^2 r)$の条件下で$\boldsymbol{L}^*$が回復可能であり、これは最高水準の理論的境界と一致する。
• ノイズ項$\boldsymbol{N}^*$に関する理論的境界を、ネットカバーと濃縮不等式を用いて導出しており、収束の不安定化を防ぐ。