[論文レビュー] Thresholding based Efficient Outlier Robust PCA

Yeshwanth Cherapanamjeri, Prateek Jain+1 more|arXiv (Cornell University)|Feb 18, 2017

Sparse and Compressive Sensing Techniques参考文献 7被引用数 7

ひとこと要約

本稿では、敵対的外れ値の下で近似的に最適な低ランク部分空間の回復を達成する、しきい値に基づく反復的アルゴリズムを提案する。1反復あたりの計算量はデータサイズに線形であり、実行時間は通常のPCAとほぼ同等である。既存手法に比べて、射影長と特異ベクトルの整合性の両方のしきい値を用いることで、外れ値のノルムが内点の特異値を上回る場合でも、外れ値を安定的に検出・除去できる。

ABSTRACT

We consider the problem of outlier robust PCA (OR-PCA) where the goal is to recover principal directions despite the presence of outlier data points. That is, given a data matrix $M^*$, where $(1-α)$ fraction of the points are noisy samples from a low-dimensional subspace while $α$ fraction of the points can be arbitrary outliers, the goal is to recover the subspace accurately. Existing results for \OR-PCA have serious drawbacks: while some results are quite weak in the presence of noise, other results have runtime quadratic in dimension, rendering them impractical for large scale applications. In this work, we provide a novel thresholding based iterative algorithm with per-iteration complexity at most linear in the data size. Moreover, the fraction of outliers, $α$, that our method can handle is tight up to constants while providing nearly optimal computational complexity for a general noise setting. For the special case where the inliers are obtained from a low-dimensional subspace with additive Gaussian noise, we show that a modification of our thresholding based method leads to significant improvement in recovery error (of the subspace) even in the presence of a large fraction of outliers.

研究の動機と目的

• 既存の外れ値耐性PCA手法には、計算コストが高く、ノイズや敵対的汚染下で性能が劣るという限界があることを解決する。
• 高い外れ値比率（最大で $O(1/r)$ のデータ点）を扱えるが、計算複雑性を低く保ちながら、正確性を損なわない効率的なアルゴリズムを開発する。
• 外れ値の存在下で標準SVDが脆弱になるのを克服するため、汚染の列スパarsity特性を活用し、内点推定値の反復的改善を行う。
• 外れ値のノルムが主成分を歪める場合でも、推定された特異ベクトルに基づく射影による外れ値検出を用いることで、耐性を確保する。
• 非一貫性仮定の下で、ノイズが存在する高次元設定においても、真の主成分部分空間のほぼ最適な回復を達成する。

提案手法

• 2つのしきい値演算子（残差射影長と推定された主方向との整合性）を用いて外れ値集合を推定する反復的アルゴリズムを提案する。
• 各反復で、疑わしい外れ値を除去したデータ行列に対してトレuncated SVDを適用し、主成分部分空間の推定値を更新する。
• 新規の二重しきい値戦略を採用する：まず、推定された主成分方向への射影長が大きい点（潜在的な外れ値）を特定し、次に直交射影を用いて、現在の部分空間と整合しない外れ値を検出する。
• 低次元の楕円体への射影演算子の凸緩和を維持することで、部分空間推定中の収束性と安定性を確保する。
• 射影部分問題を、KKT条件と目的関数の単調性に基づく収束保証とともに、二分探索に類似した方法で効率的に解く。
• incoherence仮定（仮定1）を活用することで、内点が主成分に不適切に影響を与えないようにし、信頼性の高い外れ値検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 敵対的外れ値の一定割合を耐えられるが、通常のPCAと同程度の計算複雑性を持つ外れ値耐性PCAアルゴリズムを設計できるか？
• RQ2 外れ値のノルムが内点を上回る場合、長さに基づくしきい値が無効になるが、どのようにして外れ値を効果的に検出できるか？
• RQ3 推定された主方向が外れ値の影響を受けて歪んでいる場合、どのようなしきい値戦略が外れ値検出を安定的に行えるか？
• RQ4 スパース汚染を伴う一般のノイズモデル下で、真の主成分部分空間のほぼ最適な回復を達成できるか？
• RQ5 計算効率の良いPCAアルゴリズムの外れ値耐性の理論的限界は何か？ そして、実用的手法でその限界に近づけるか？

主な発見

• 提案手法は、外れ値の割合 $\alpha$ が $O(1/r)$ 未満であるという仮定の下で、真の主成分部分空間 $U^*$ のほぼ最適な回復を達成する。ここで $r$ は潜在的部分空間のランクである。
• 実行時間は通常のPCAとほぼ同等であり、1反復あたりの計算量はデータ点数に線形である。これにより、$O(nd^2)$ や $O(n^2d)$ の手法に比べ顕著な改善が得られる。
• 内点に加法的ガウスノイズが加わる特別な場合、アルゴリズムの修正版が先行手法と比較して顕著に低い部分空間回復誤差を達成する。
• 射影部分問題に対して二分探索に類似した解法を用いることで、$\epsilon$-精度での真の射影演算子 $\mathcal{P}_{\mathcal{E}}(x)$ の解に $O(\log(1/\epsilon))$ 反復で収束する。
• 実験結果から、射影長と推定された特異ベクトルとの整合性の両方を用いる二重しきい値機構により、外れ値のノルムが支配的であっても、外れ値検出が安定的に行えることが示された。
• 理論的解析により、非一貫性仮定の下で、収束性と安定性が保証され、反復処理中に内点が誤って削除されるのを防げる。