[論文レビュー] Robust Principal Component Analysis?

Emmanuel J. Candès, Xiaodong Li+2 more|ArXiv.org|Dec 18, 2009

Sparse and Compressive Sensing Techniques被引用数 305

ひとこと要約

本稿では、ロバストPCA（ロバストPCA）を、主成分追跡（Principal Component Pursuit）を用いて提案する。凸最適化法として、核ノルムとℓ₁ノルムの重み付き組み合わせを最小化することで、低ランク行列とスパース行列の重ね合わせから、正確にそれらを回復する。主な貢献は、ややきつい条件下でも、正確かつスケーラブルなロバスト行列分解の解決策を提供することであり、定数分の1のエントリが任意に破損している場合でも正確回復が可能である。

ABSTRACT

This paper is about a curious phenomenon. Suppose we have a data matrix, which is the superposition of a low-rank component and a sparse component. Can we recover each component individually? We prove that under some suitable assumptions, it is possible to recover both the low-rank and the sparse components exactly by solving a very convenient convex program called Principal Component Pursuit; among all feasible decompositions, simply minimize a weighted combination of the nuclear norm and of the L1 norm. This suggests the possibility of a principled approach to robust principal component analysis since our methodology and results assert that one can recover the principal components of a data matrix even though a positive fraction of its entries are arbitrarily corrupted. This extends to the situation where a fraction of the entries are missing as well. We discuss an algorithm for solving this optimization problem, and present applications in the area of video surveillance, where our methodology allows for the detection of objects in a cluttered background, and in the area of face recognition, where it offers a principled way of removing shadows and specularities in images of faces.

研究の動機と目的

• 外れ値や欠損データなどの大きな汚染が生じる状況下でも、古典的PCAの脆さ（ばらつき）を緩和すること。
• 構造的・大きさ的に未知の低ランク成分とスパース成分に分解できる、スケーラブルで、証明可能な正しさを持つ手法を開発すること。
• 高次元データにおいて、任意の汚染がある状況下でも、ロバストな次元削減と主成分推定を可能にすること。
• 背景モデリングや外れ値除去が重要な、動画監視や顔認識などの応用分野における原理的枠組みを提供すること。

提案手法

• 行列分解問題を凸最適化問題として定式化：M = L + S を満たすように、λ‖L‖⁎ + ‖S‖₁ を最小化する。ここでLは低ランク、Sはスパースである。
• 核ノルム最小化（‖L‖⁎）により低ランク構造を促進し、ℓ₁ノルム最小化（‖S‖₁）によりスパarsityを促進する。
• 双対性と確率的行列理論を用いて、LのランクとSのスパarsityに関するややきつい仮定のもとで正確回復を証明する。
• 低ランク成分とスパース成分が十分に非一貫的（incoherent）であり、破損エントリ数が行列サイズに対して小さい場合、凸計画問題の解が両成分を正確に回復することを確立する。
• 実用的に効率的に最適化問題を解くために、交替方向乗数法（ADMM）アルゴリズムを設計する。
• 確率的議論と被覆論的議論を用いて、作用素ノルムをバウンディングし、高い確率で回復保証を得る。

実験結果

リサーチクエスチョン

• RQ1 スパース成分が任意に大きな値をとり、サポートも未知である場合、それらの重ね合わせから低ランク行列とスパース行列を正確に回復できるか？
• RQ2 ランクとスパarsityに関するややきつい仮定のもとで、両成分を証明可能な正しさで回復できる凸最適化法はあるか？
• RQ3 定数分の1のエントリが破損している場合でも、提案手法は正確回復を達成できるか？
• RQ4 欠損データがある状況下で、本手法はどのように動作するか。また、大きな汚染がある行列補完問題へは拡張可能か？
• RQ5 核ノルムとℓ₁ノルム最小化が、真の成分を同時に回復する理論的条件は何か？

主な発見

• ややきつい非一貫性とスパarsity仮定のもとで、本稿は主成分追跡により、低ランク成分とスパース成分が高確率で正確に回復可能であると証明している。
• 行列サイズがn×nの場合、破損エントリ数がO(n^{1.5}/log n)未満であれば、ランクが小さく、スパース成分が十分にスパースであると仮定すれば、正確回復が保証される。
• 核ノルム最小化は低ランク構造を促進し、ℓ₁ノルム最小化はスパarsityを促進する。両者の組み合わせにより、正確な分解が可能である。
• 本手法は大きな汚染に対してロバストである：定数分の1のエントリが任意に破損していても、真の成分を回復可能である。
• スパース成分のサンプリングレートが十分に低く、低ランク成分が標準基底と非一貫的である場合、本アルゴリズムは高確率で正確回復を達成する。
• 動画監視や顔認識における数値実験では、背景（低ランク）と動きのある物体（スパース）をうまく分離し、影や鏡面反射を効果的に除去している。