[論文レビュー] Robust PCA and subspace tracking from incomplete observations using L0-surrogates

Clemens Hage, Martin Kleinsteuber|arXiv (Cornell University)|Oct 2, 2012

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、非凸な ℓ₀ 代替関数を凸緩和法の代わりに用いることで、不完全で汚染されたデータに対するロバストPCAおよび部分空間追跡手法を提案する。グラスマン多様体上で内在的共役勾配法を用いて最適化することで、最新の手法よりも高ランク行列や多数の外れ値を扱う際に優れた性能を達成し、欠損データやスパースな汚染下でも顕著な優位性を示す。

ABSTRACT

Many applications in data analysis rely on the decomposition of a data matrix into a low-rank and a sparse component. Existing methods that tackle this task use the nuclear norm and L1-cost functions as convex relaxations of the rank constraint and the sparsity measure, respectively, or employ thresholding techniques. We propose a method that allows for reconstructing and tracking a subspace of upper-bounded dimension from incomplete and corrupted observations. It does not require any a priori information about the number of outliers. The core of our algorithm is an intrinsic Conjugate Gradient method on the set of orthogonal projection matrices, the so-called Grassmannian. Non-convex sparsity measures are used for outlier detection, which leads to improved performance in terms of robustly recovering and tracking the low-rank matrix. In particular, our approach can cope with more outliers and with an underlying matrix of higher rank than other state-of-the-art methods.

研究の動機と目的

• 高ランクまたは密集した外れ値の条件下で、従来の凸緩和法が失敗する不完全でスパースに汚染された観測からの低ランク行列回復の課題に対処すること。
• 外れ値の数や潜在的部分空間のランクに関する事前知識を必要としない手法の開発。
• ストリーミングで不完全かつ汚染されたデータから、時間経過に伴う部分空間のロバストで正確な追跡を可能にすること。
• 核ノルムや ℓ₁ などの凸緩和法の限界を克服し、スパarsityおよびランク制御に非凸な ℓ₀ 代替関数を用いること。
• グラスマン多様体上で内在的リーマン多様体法を用いた最適化により、計算効率とスケーラビリティを確保すること。

提案手法

• 観測が不完全な状況下で、低ランクかつスパースな行列分解としてロバストPCA問題を定式化し、ℓ₁ の代わりに ℓ₀ 代替関数を用いてスパarsityをモデル化する。
• 固定次元部分空間のグラスマン多様体上で最適化することで、事前にランクを固定せずにランクの上界を強制する。
• 非凸最適化問題を効率的に解くために、グラスマン多様体上での内在的共役勾配法を実装する。
• リトラクションに基づく更新を用いて直交性を維持し、計算コストを低減することで、大規模問題へのスケーラビリティを実現する。
• オンライン更新を用いたインクリメンタル部分空間追跡のためのフレームワークを適応し、時間変動する部分空間へのリアルタイム適合を可能にする。
• ℓ₀ 代替関数に滑らかさパラメータ μ を導入し、滑らかな最適化と厳密なスパarsityの強制とのトレードオフを制御する。

実験結果

リサーチクエスチョン

• RQ1 非凸な ℓ₀ 代替関数は、不完全でスパースに汚染された観測からの低ランク行列回復において、凸な ℓ₁ 緩和法を上回ることができるか？
• RQ2 グラスマン多様体上での最適化により、ランクの内在的上界を有するロバストでスケーラブルな部分空間回復が可能になるか？
• RQ3 外れ値の数に関する事前知識がなくても、欠損データと多数の外れ値が存在する状況下で、時間変動する部分空間を追跡できるか？
• RQ4 ℓ₀ 代替関数における滑らかさパラメータ μ の選択が、前景検出における部分空間適合速度とゴースト画像の抑制とのトレードオフにどのように影響するか？
• RQ5 高ランクおよび高外れ値条件において、IALM、GRASTA、GoDec などの最先端手法と比較して、本手法はどの程度精度とロバスト性で優れているか？

主な発見

• 本手法は、特に高ランクおよび高外れ値条件下で、IALM、GRASTA、SpaRCS よりも優れた回復性能を達成する。
• 平均実行時間 3–3.7 秒で、SpaRCS（6.1 秒）や GRASTA（11 秒）を上回るが、外れ値の基数を事前に必要とする GoDec（1.5 秒）には及ばない。
• 実世界の動画データ（例：ロビー・データセットにおける照明変化）において、背景のシフト後数フレームで部分空間の変化を的確に追跡する。
• 滑らかさパラメータ μ を低く設定（例：0.01）することで、ゴースト画像が少なく、より明確な前景セグメンテーションが実現され、残存アーチファクトの効果的な抑制が示された。
• 不完全な観測および加法的ガウスノイズが存在する状況でも、高い精度を維持し、凸代替法よりもロバスト性と柔軟性に優れる。
• ロビー・データセットにおける実験では、低ランク近似が安定的かつ正確に保たれ、スパースな残差が動く前景オブジェクトを効果的に分離している。