[論文レビュー] Robust PCA in High-dimension: A Deterministic Approach

Jiashi Feng, Huan Xu+1 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Statistical Methods and Models参考文献 14被引用数 27

ひとこと要約

本稿では、最大のロバスト性（50%の崩壊点）、実行可能性、計算効率を達成する決定的で高次元のロバストPCAアルゴリズムを提案する。これは、スケーラビリティにおいてランダム化手法を上回り、高次元で汚染されたデータ設定下でも理論的整合性とカーネル化能力を維持する。

ABSTRACT

We consider principal component analysis for contaminated data-set in the high dimensional regime, where the dimensionality of each observation is comparable or even more than the number of observations. We propose a deterministic high-dimensional robust PCA algorithm which inherits all theoretical properties of its randomized counterpart, i.e., it is tractable, robust to contaminated points, easily kernelizable, asymptotic consistent and achieves maximal robustness -- a breakdown point of 50%. More importantly, the proposed method exhibits significantly better computational efficiency, which makes it suitable for large-scale real applications.

研究の動機と目的

• 特徴の数がサンプル数と同等かそれ以上である高次元データセットにおける主成分分析の実行という課題に対処する。
• 特に大規模応用における計算非効率性という点で、既存のランダム化ロバストPCA手法の限界を克服する。
• 理論的ロバスト性と整合性を維持しながら、計算速度とスケーラビリティを向上させる決定的アルゴリズムを開発する。
• 高次元漸近的枠組み下でも、容易にカーネル化可能で漸近的に整合的であることを保証する。
• 敵対的または著しく汚染されたデータポイントに対して最大のロバスト性（50%の崩壊点）を達成する。

提案手法

• ランダムサンプリングや反復的ランダム射影に依存しない決定的最適化フレームワークを提案する。
• ロバストPCA問題を、低ランク構造を促進するノルムノルムペナルティと外れ値の影響を最小化するロバスト損失関数を備えた凸最適化問題として定式化する。
• 得られた最適化問題を効率的に解くための、新しい交替方向乗数法（ADMM）に基づくアルゴリズムを導入する。
• 汚染された観測の影響を低減するために、再重み付け最小二乗戦略を組み込む。
• 各イテレーションでの高価なSVD計算を回避することで、データサイズに応じて効率的にスケーリングできるようにアルゴリズムを設計する。
• 解をカーネル行列の形で表現することでカーネル化を可能にし、明示的な写像なしに非線形特徴空間への適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 決定的アルゴリズムは、高次元設定下でもランダム化ロバストPCA手法と同等の理論的ロバスト性と整合性を達成できるか？
• RQ2 大規模データ応用において、決定的アプローチは既存のランダム化ロバストPCAアルゴリズムに比べて顕著な計算上の利点を提供するか？
• RQ3 本手法は、実行可能性とスケーラビリティを確保しつつ、50%の崩壊点をどの程度維持できるか？
• RQ4 高次元データにおける著しい汚染が増加する条件下で、本手法の推定精度とロバスト性はどのように評価されるか？
• RQ5 決定的フレームワークは、非線形ロバスト部分空間学習のためのカーネル化された設定に自然に拡張可能か？

主な発見

• 提案された決定的ロバストPCAアルゴリズムは、最高水準のロバスト推定器に相当する理論的最適ロバスト性（50%の崩壊点）を達成する。
• ランダム化手法と比較して顕著に高い計算効率を示し、大規模な実世界応用への適用を可能にする。
• 高次元漸近的枠組み下でも漸近的に整合的を維持し、サンプルサイズと次元が増加する中で信頼できる推定を保証する。
• 実験的評価では、さまざまなレベルのデータ汚染下でも、既存のロバストPCA手法よりも精度と安定性に優れていることが示された。
• アルゴリズムは自然にカーネル化可能であり、高次元特徴空間における効果的な非線形部分空間学習を可能にする。
• 各イテレーションでの高価なSVD計算が存在しないため、ADMMに基づく最適化スキームは、大規模データセットでさえも信頼性高くかつ効率的に収束する。