[論文レビュー] Principal Component Analysis with Contaminated Data: The High Dimensional Case

Huan Xu, Constantine Caramanis+1 more|arXiv (Cornell University)|Feb 24, 2010

Sparse and Compressive Sensing Techniques参考文献 28被引用数 31

ひとこと要約

本稿では、高次元データにおける任意の汚染観測値を伴う低次元部分空間を強力に回復できる、実行可能で反復的なアルゴリズムであるHigh-dimensional Robust PCA（HR-PCA）を提案する。この手法は、標準PCAと高分散点のランダム除去を交互に繰り返すことで、計算が容易であり、既存の手法とは異なり50%の破壊点を達成する。また、汚染点の割合が0に近づく極限では漸近的に最適となる。

ABSTRACT

We consider the dimensionality-reduction problem (finding a subspace approximation of observed data) for contaminated data in the high dimensional regime, where the number of observations is of the same magnitude as the number of variables of each observation, and the data set contains some (arbitrarily) corrupted observations. We propose a High-dimensional Robust Principal Component Analysis (HR-PCA) algorithm that is tractable, robust to contaminated points, and easily kernelizable. The resulting subspace has a bounded deviation from the desired one, achieves maximal robustness -- a breakdown point of 50% while all existing algorithms have a breakdown point of zero, and unlike ordinary PCA algorithms, achieves optimality in the limit case where the proportion of corrupted points goes to zero.

研究の動機と目的

• 観測数が変数の数と同等またはそれ未満である高次元データにおける次元削減の課題に対処すること。
• 信号対雑音比（SNR）が低いか、消失する状況下でも、古典的PCAの脆さを克服すること。
• 従来の強力PCA手法が失敗する高次元領域でも、強力性と統計的一致性を維持できる、実行可能な多項式時間アルゴリズムを開発すること。
• 50%の破壊点という最大の強力性を達成するとともに、汚染が消失する極限で漸近的に最適となること。
• 高次元特徴空間における非線形次元削減を容易に可能にする、カーネル化可能なアルゴリズムを保証すること。

提案手法

• 各反復で、現在のデータセットに対して標準PCAを適用し、主成分を計算する。
• 主成分空間への寄与が大きい、つまり高分散を示す点（外れ値の可能性が高い点）を同定し、ランダムに削除する。
• PCAとランダム除去のステップを反復的に繰り返し、候補となる部分空間を生成する。
• 再構成誤差基準に基づき、すべての反復で得られた候補部分空間の中から最良のものを選ぶ。
• 確率的解析を用いて、高確率で、候補部分空間のうちの1つが真の潜在部分空間に近いことを示す。
• ランダム除去を用いることで、決定的バイアスを回避し、悪意ある汚染による性能劣化を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 n ≈ p または n < p の高次元領域において、強力PCAを実行可能かつ有効にできるか？
• RQ2 任意の汚染点を含む状況下で、強力PCAアルゴリズムが真の部分空間を回復できる最大の汚染点割合は何か？
• RQ3 低SNRと限られたサンプル数を伴う高次元設定において、既存の強力PCAアルゴリズムの性能はどのように低下するか？
• RQ4 PCAとランダム除去を組み合わせたシンプルな反復的手順が、強力性と漸近的最適性の両方を達成できるか？
• RQ5 汚染がある高次元データにおいても統計的一致性と計算効率を維持できる、カーネル化可能な強力PCAアルゴリズムを設計することは可能か？

主な発見

• HR-PCAは50%の破壊点を達成しており、これは最大であり、既存の強力PCA手法が0であるのと比べて顕著に優れている。
• アルゴリズムは漸近的に最適である：汚染点の割合が0に近づく極限で、HR-PCAは真の低次元部分空間を正確に回復する。
• d=1およびd=3のシミュレーションにおいて、HR-PCAはROBPCA、PP、PCAを上回り、特に信号の大きさが小さいか次元数が高い状況で顕著に優れる。
• ROBPCAとPPは次元数の増加に伴い著しく劣化する。これはStahel-Donohoの外れ値度が失敗するためであり、ある次元の閾値を超えると機能しなくなる。
• MVTベースの手法はn = mのとき、特異な共分散行列が生じるため崩壊し、破壊点が1/mに比例するため、高次元データには不適切である。
• HR-PCAはλ = 40%の汚染でも安定した性能を維持し、極端な汚染下でも強い強力性を示している。