[論文レビュー] Robust Principal Component Analysis on Graphs

Nauman Shahid, Vassilis Kalofolias+3 more|arXiv (Cornell University)|Apr 23, 2015

Face and Expression Recognition参考文献 1被引用数 20

ひとこと要約

本稿では、スパムグラフ正則化を組み込んだロバストPCAにおける凸最適化フレームワーク、Robust PCA on Graphsを提案する。核ノルム、スパース誤差、およびグラフラプラシアンに基づく滑らかさの組み合わせを最小化することで、ベンチマークおよび動画データセットにおけるオクルージョン、欠損データ、クラス分離の処理において、10の最先端モデルを上回る優れた性能を達成する。

ABSTRACT

Principal Component Analysis (PCA) is the most widely used tool for linear dimensionality reduction and clustering. Still it is highly sensitive to outliers and does not scale well with respect to the number of data samples. Robust PCA solves the first issue with a sparse penalty term. The second issue can be handled with the matrix factorization model, which is however non-convex. Besides, PCA based clustering can also be enhanced by using a graph of data similarity. In this article, we introduce a new model called "Robust PCA on Graphs" which incorporates spectral graph regularization into the Robust PCA framework. Our proposed model benefits from 1) the robustness of principal components to occlusions and missing values, 2) enhanced low-rank recovery, 3) improved clustering property due to the graph smoothness assumption on the low-rank matrix, and 4) convexity of the resulting optimization problem. Extensive experiments on 8 benchmark, 3 video and 2 artificial datasets with corruptions clearly reveal that our model outperforms 10 other state-of-the-art models in its clustering and low-rank recovery tasks.

研究の動機と目的

• 古典的PCAおよびロバストPCAの外れ値処理およびクラスタリング性能の低さという限界に対処すること。
• ロバストPCAフレームワークにグラフベースの多様体構造を組み込むことで、低ランク回復とクラスタリングを向上させること。
• 最小限のパラメータで正確な低ランク回復と高いクラスタ純度を保証する凸最適化モデルを開発すること。
• 画像や動画などの実世界データにおける性能と、グラフ構築の品質に対するロバスト性を示すこと。

提案手法

• 本手法は、低ランク行列Lの核ノルム、スパース誤差Sのl1ノルム、およびグラフラプラシアン項γ·tr(LΦLᵀ)の最小化という凸最適化問題を定式化する。
• 正規化されたグラフラプラシアンΦを用いて、低ランク表現のデータ多様体上での滑らかさを強制し、クラスタ構造を促進する。
• 非凸的因子分解を回避するため、主成分を明示的に計算せずに、直接的に低ランク行列Lを回復する。
• p-近傍法を用いて、3つの重み付け方式（バイナリ、ヒートカーネル、相関距離）を用いてグラフを構築する。
• 最適化は増強ラグランジュ法で行い、パラメータλ（スパarsity）とγ（グラフ正則化）は交差検証により選択される。
• 汚染されたデータから構築されたグラフに対しても、性能が著しく低下せず、強いロバスト性を示す。

実験結果

リサーチクエスチョン

• RQ1 外れ値の大きな汚染下でも、スペクトルグラフ正則化がロバストPCAにおける低ランク回復とクラスタリングを改善できるか？
• RQ2 低ランク行列にグラフ滑らかさを組み込むことで、埋め込み空間におけるクラスタ純度が向上するか？
• RQ3 提案された凸モデルは、10の最先端次元削減モデルと比較して、性能とロバスト性で優れているか？
• RQ4 ノイズや汚染されたグラフ構築に対しても、本手法はロバストか？
• RQ5 本モデルは、正確な低ランク回復と動画データにおける優れた背景分離を達成できるか？

主な発見

• 提案モデルは、8つのベンチマークデータセット、3つの動画シーケンス、2つの人工的汚染データセットにおいて、10の最先端モデルを上回るクラスタリングおよび低ランク回復性能を示した。
• 20%のブロックオクルージョンを含むCMU PIEデータセットでは、RPCAやRGLPCAと比較して著しく低い再構成誤差と優れた視覚的回復性能を達成した。
• 動画の背景抽出では、スパース誤差の事前知識がなくても、移動する人物や影を効果的に除去し、RPCAよりもクリアな静的背景を生成した。
• 汚染されたデータに基づくグラフ構築戦略に対しても、本手法は高い性能を維持し、ロバスト性を示した。
• クリーンなデータが存在しない状況でも、グラフに起因する滑らかさのおかげで正確な低ランク回復と優れたクラスタリングが達成された。
• 各イテレーションにおけるSVDの計算により、他のモデルより計算時間が長くなるが、精度とのトレードオフは有利であり、今後の研究でランダム化SVDを用いて最適化を高速化可能である。