[論文レビュー] Cauchy Principal Component Analysis

Pengtao Xie, Eric P. Xing|arXiv (Cornell University)|Dec 19, 2014

Blind Source Separation Techniques参考文献 24被引用数 5

ひとこと要約

本稿では、低ランク制約を伴う最尤推定に基づき、ノイズを重たい尾を持つコーシー分布でモデル化する、ロバストな確率的PCA手法であるCauchy Principal Component Analysis (Cauchy PCA) を提案する。この手法は、密で大規模なノイズを扱う際、ガウス分布やラプラス分布に基づくPCAよりも優れた性能を示し、高汚染率下でも顔認識の精度と再構成品質に優れている。

ABSTRACT

Principal Component Analysis (PCA) has wide applications in machine learning, text mining and computer vision. Classical PCA based on a Gaussian noise model is fragile to noise of large magnitude. Laplace noise assumption based PCA methods cannot deal with dense noise effectively. In this paper, we propose Cauchy Principal Component Analysis (Cauchy PCA), a very simple yet effective PCA method which is robust to various types of noise. We utilize Cauchy distribution to model noise and derive Cauchy PCA under the maximum likelihood estimation (MLE) framework with low rank constraint. Our method can robustly estimate the low rank matrix regardless of whether noise is large or small, dense or sparse. We analyze the robustness of Cauchy PCA from a robust statistics view and present an efficient singular value projection optimization method. Experimental results on both simulated data and real applications demonstrate the robustness of Cauchy PCA to various noise patterns.

研究の動機と目的

• 実世界のデータに一般的に見られる、密で大規模なノイズパターンを扱う際、ガウス分布およびラプラス分布に基づくPCAの限界を解消すること。
• ラプラスPCAが固有のスパarsity誘導性を持つため、密なノイズをモデル化できないという問題を克服すること。
• スパース/小、スパース/大、密/小、密/大の多様なノイズパターンにわたって、ロバスト性を維持する確率的PCAフレームワークの構築。
• コーシー分布ノイズ下での低ランク行列推定に対して、理論的裏付けが強く、効率的な最適化手法の提供。
• 顔認識における汚染済み画像の処理など、実世界の応用において本手法の優位性を実証すること。

提案手法

• 大規模な外れ値を捉えるのに適した重たい尾を持つコーシー分布を用いてノイズをモデル化する。
• データ行列に低ランク制約を課した最尤推定（MLE）フレームワーク内でCauchy PCAを導出する。
• 大きな誤差の影響を軽減するため、対数尤度の最小化問題として最適化問題を定式化する。
• 非凸でランク制約のある最適化問題を効率的に解くために、特異値射影（Singular Value Projection: SVP）アルゴリズムを提案する。
• 反復的重み付けと特異値しきい値処理を用いて、低ランク構造を維持するとともにロバスト性を確保する。
• 標準的なPCAパイプライン（Eigenfaceに基づく顔認識および行列回復タスクなど）に本手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布およびラプラス分布に基づくPCAが失敗するような、密で大規模なノイズが存在する状況において、コーシー分布に基づく確率的PCAモデルが有効に機能するか。
• RQ2 特に密なノイズに対して、既存のロバストPCA手法と比較して、Cauchy PCAはどのような性能を示すか。
• RQ3 スモールまたはスパースなノイズに対しては良好な性能を維持しつつ、大規模で密なノイズに対してもロバストであるか。
• RQ4 提案されたSVP最適化手法は、コーシー分布ノイズ下での低ランク行列推定問題を効率的に解けるか。
• RQ5 実世界の応用、例えば汚染済みデータを用いた顔認識において、Cauchy PCAはMV-Student-t PCAよりも優れた効果を示すか。

主な発見

• 高汚染率下でもCauchy PCAはガウスPCAを著しく上回り、70%のピクセル汚染率（ρ=0.7）でも27%の認識精度を達成する一方、ラプラスPCAはわずか9%にとどまる。
• ρ=0.6、ランクk=30の条件下で、Cauchy PCAは顔の特徴を識別可能な再構成を維持するが、ガウスPCAは重度に汚染された出力を生成し、ラプラスPCAは顔の同一性を保持できていない。
• ランクk=30の条件下で、Cauchy PCAはρ=0.6まで安定した性能を維持するが、ラプラスPCAはρ=0.5を超えると急激に精度が低下する。
• 小規模なノイズ下ではCauchy PCAはガウスPCAと同等の性能を示し、クリーンなデータにおいて性能が低下しないことを確認した。
• 行列回復タスクにおいて、Cauchy PCAはMV-Student-t PCAを上回り、MV-Student-t PCAはガウスPCAと同等の性能を示し、ラプラスPCAおよびCauchy PCAに劣る。
• SVP最適化手法により、効率的かつ安定した収束が実現され、Cauchy PCAはノイズが多様な実世界の応用にスケーラブルである。