[論文レビュー] Robust Sub-Gaussian Principal Component Analysis and Width-Independent Schatten Packing

Arun Jambulapati, Jerry Li+1 more|arXiv (Cornell University)|Jan 1, 2020

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、$\epsilon$-破損下でのロバストなサブガウスビアン主成分分析（PCA）に対する2つの多項式時間アルゴリズムを提示する。反復的フィルタリングとほぼ線形時間の手法を用いる。トップ固有ベクトルに対して $1 - O(\epsilon\log\epsilon^{-1})$-近似を達成し、シュターン-$p$ 範囲ノルムパッキング半定値計画法（SDP）に対する最初の幅に依存しない解法を導入。入力スパarsity時間の反復回数は $O(p\log(nd/\epsilon)\epsilon^{-1})$ である。

ABSTRACT

We develop two methods for the following fundamental statistical task: given an $\epsilon$-corrupted set of $n$ samples from a $d$-dimensional sub-Gaussian distribution, return an approximate top eigenvector of the covariance matrix. Our first robust PCA algorithm runs in polynomial time, returns a $1 - O(\epsilon\log\epsilon^{-1})$-approximate top eigenvector, and is based on a simple iterative filtering approach. Our second, which attains a slightly worse approximation factor, runs in nearly-linear time and sample complexity under a mild spectral gap assumption. These are the first polynomial-time algorithms yielding non-trivial information about the covariance of a corrupted sub-Gaussian distribution without requiring additional algebraic structure of moments. As a key technical tool, we develop the first width-independent solvers for Schatten-$p$ norm packing semidefinite programs, giving a $(1 + \epsilon)$-approximate solution in $O(p\log( frac{nd}{\epsilon})\epsilon^{-1})$ input-sparsity time iterations (where $n$, $d$ are problem dimensions).

研究の動機と目的

• データに最大 $\\epsilon$ 分の任意の外れ値が混入する状況下で、効率的なアルゴリズムを設計すること。
• 高次モーメントに代数的構造を仮定しないで、共分散行列の意味のあるトップ固有ベクトルを回復できる多項式時間手法を提供すること。
• やや強いスペクトルギャップ仮定の下で、ほぼ線形時間のアルゴリズムを設計し、サンプル効率と時間効率を向上させること。
• シュターン-$p$ 範囲ノルムパッキング半定値計画法（SDP）に対する最初の幅に依存しない解法を確立すること。
• 問題の幅に依存しない入力スパarsity時間内に $(1 + \epsilon)$-近似解を得ること。

提案手法

• 最初のアルゴリズムは、反復的フィルタリングを用い、徐々に汚染されたサンプルを除外することで、トップ固有ベクトルのロバストな推定値を回復する。
• 2番目のアルゴリズムは、スペクトルギャップ仮定を活用し、シュターン-$p$ ノルム上での最適化を実行することで、ほぼ線形時間の複雑度を達成する。
• 主な技術的進歩は、ロバストPCA問題を扱う上で極めて重要な、シュターン-$p$ 範囲ノルムパッキングSDPに対する幅に依存しない解法の開発である。
• これらの解法は、問題の幅に依存せず、$O(p\\log(nd/\\epsilon)\\epsilon^{-1})$ の入力スパarsity時間の反復回数で動作する。
• アルゴリズムは、$\epsilon$-破損下でのサブガウスビアン分布を扱えるように設計されており、追加のモーメント構造を必要としない。
• 理論的保証は、シュターンノルムに特化した集中不等式とSDP緩和技術を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 代数的モーメント仮定を必要とせず、$\epsilon$-破損下で非自明な近似要因を達成する多項式時間のロバストPCAアルゴリズムを設計できるか？
• RQ2 サブガウスビアン破損下で、ロバストPCAに対して多項式時間内に達成可能な最良の近似要因は何か？
• RQ3 やや強いスペクトルギャップ条件下で、ロバストPCAのほぼ線形時間アルゴリズムを開発できるか？
• RQ4 問題の幅に依存しない効率的なシュターン-$p$ 範囲ノルムパッキングSDPの解法はどのように実現できるか？
• RQ5 ロバスト共分散推定において、近似品質と計算効率の最適なトレードオフは何か？

主な発見

• 最初のアルゴリズムは、反復的フィルタリングを用いて、多項式時間内に $1 - O(\\epsilon\log\\epsilon^{-1})$-近似トップ固有ベクトルを達成する。
• 2番目のアルゴリズムは、やや強いスペクトルギャップ仮定の下でほぼ線形時間とサンプル複雑度で動作し、わずかに悪い近似要因を達成する。
• 本稿は、シュターン-$p$ 範囲ノルムパッキングSDPに対する最初の幅に依存しない解法を導入し、$(1 + \epsilon)$-近似を達成する。
• この解法は、問題の幅に依存せず、$O(p\\log(nd/\\epsilon)\\epsilon^{-1})$ の入力スパarsity時間の反復回数を要する。
• これらのアルゴリズムは、モーメントに代数的構造を仮定しないサブガウスビアン分布に対するロバストPCAに対して、非自明な保証を提供する最初のものである。
• 結果として、破損下でのロバストPCAの新たなベンチマークが確立され、強固な理論的保証と実用的な効率性を両立している。