[論文レビュー] Non-Greedy L21-Norm Maximization for Principal Component Analysis

Feiping Nie, Heng Huang|arXiv (Cornell University)|Mar 28, 2016

Blind Source Separation Techniques参考文献 1被引用数 12

ひとこと要約

この論文は、再構築誤差最小化と理論的に関連するが、従来のL1-ノルム手法とは異なり、非グリーディなL21-ノルム最大化アプローチを提示する。この手法は、効率的かつ収束性を有する最適化アルゴリズムを用いて、同時にすべての射影方向を学習し、外れ値や遮蔽がある実世界のデータセットにおいて、PCA、R1-PCA、L1-PCAよりも低い再構築誤差を達成する。

ABSTRACT

Principal Component Analysis (PCA) is one of the most important unsupervised methods to handle high-dimensional data. However, due to the high computational complexity of its eigen decomposition solution, it hard to apply PCA to the large-scale data with high dimensionality. Meanwhile, the squared L2-norm based objective makes it sensitive to data outliers. In recent research, the L1-norm maximization based PCA method was proposed for efficient computation and being robust to outliers. However, this work used a greedy strategy to solve the eigen vectors. Moreover, the L1-norm maximization based objective may not be the correct robust PCA formulation, because it loses the theoretical connection to the minimization of data reconstruction error, which is one of the most important intuitions and goals of PCA. In this paper, we propose to maximize the L21-norm based robust PCA objective, which is theoretically connected to the minimization of reconstruction error. More importantly, we propose the efficient non-greedy optimization algorithms to solve our objective and the more general L21-norm maximization problem with theoretically guaranteed convergence. Experimental results on real world data sets show the effectiveness of the proposed method for principal component analysis.

研究の動機と目的

• 従来のPCAの限界、特に計算コストの高さと外れ値への感受性を解消すること。
• グリーディなL1-ノルム最大化の欠点を克服すること。これは再構築誤差との理論的関連性がなく、局所最適解に陥るリスクを伴う。
• 回転不変性を備え、データ再構築誤差最小化と理論的に関連する、ロバストPCA手法を開発すること。
• 一般の統計学習モデルに適用可能な、非グリーディかつ収束性を有するL21-ノルム最大化の最適化アルゴリズムを設計すること。

提案手法

• PCAにおける再構築誤差最小化と理論的に関連するL21-ノルム最大化に基づく新しい目的関数を提案する。
• すべての射影方向を同時に最適化する非グリーディな最適化アルゴリズムを導入し、逐次的なグリーディな更新を回避する。
• 理論的収束保証を有するL21-ノルム最大化の反復的アルゴリズムを構築する。
• 統計学習モデルに関連するより広いクラスの最大化問題を解くために、アルゴリズムを拡張する。
• 行列・ベクトル演算を用いて計算効率を確保し、高次元かつ大規模データに適した設計を実現する。

実験結果

リサーチクエスチョン

• RQ1 L21-ノルム最大化は、再構築誤差最小化と理論的に関連するL1-ノルム最大化の代替として、PCAにおいて有効な理論的基盤を提供できるか？
• RQ2 L21-ノルムPCAにおける非グリーディな最適化戦略は、再構築誤差と収束性の観点で、グリーディな手法を上回るか？
• RQ3 提案手法は、外れ値や遮蔽があるデータ処理において、PCA、R1-PCA、L1-PCAと比較してどのように性能を発揮するか？
• RQ4 提案された最適化フレームワークは、PCAにとどまらず、他の統計学習モデルへも一般化可能か？

主な発見

• 提案手法PCA-L21は、遮蔽やノイズがあるすべてのテストデータセットにおいて、PCA、R1-PCA、PCA-L1よりも一貫して低い再構築誤差を達成した。
• Yale、AT&T、Umist、AR、XM2VTS、Coil20の各データセットにおいて、PCA-L21はPCA-L1を上回った。特に30％の遮蔽条件下で顕著であり、PCA-L1が再構築誤差との関連性が弱いことを示唆している。
• Palmデータセットから30％のノイズ画像を追加した状況で、XM2VTSおよびCoil20においてPCA-L21が最小の再構築誤差を達成し、優れたロバスト性を示した。
• 非グリーディなアルゴリズムは信頼性高く収束し、グリーディなL1最適化を上回り、部分最適解に陥るリスクを回避した。
• 理論的解析により、提案アルゴリズムが局所最適解に収束することが確認され、最適化の安定性が保証された。