[論文レビュー] Robust Subspace Recovery via Bi-Sparsity Pursuit

Xiao Bian, Hamid Krim|arXiv (Cornell University)|Mar 31, 2014

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、任意のスパースコラプチャーによって汚染された高次元データにおいて、低次元部分空間とスパースエラーを同時に回復する新しいアルゴリズムである、ロバスト部分空間回復のためのバイスパースィティプルース（RoSuRe）を提案する。非凸最適化問題をバイスパースィティモデルで定式化することで、十分な条件下で正確な回復を達成し、合成データおよび実世界のビジョンデータにおいて優れた性能を示す。

ABSTRACT

Successful applications of sparse models in computer vision and machine learning imply that in many real-world applications, high dimensional data is distributed in a union of low dimensional subspaces. Nevertheless, the underlying structure may be affected by sparse errors and/or outliers. In this paper, we propose a bi-sparse model as a framework to analyze this problem and provide a novel algorithm to recover the union of subspaces in presence of sparse corruptions. We further show the effectiveness of our method by experiments on both synthetic data and real-world vision data.

研究の動機と目的

• すべてのデータサンプルがスパースエラーによって汚染される状況において、部分空間構造とクラスタリングが損なわれるという、部分空間の和（UoS）を回復する課題に対処する。
• 既存手法が一部のデータのみが汚染されていると仮定しているのを克服し、すべてのサンプルが影響を受ける状況をモデル化する。
• 同時に、データを部分空間に正しいパーティションに分けること、元の低ランク部分空間を回復すること、スパースエラー行列を回復することを行う。
• 提案された最適化フレームワーク下で、真の部分空間構造とエラー行列の正確な回復を保証する理論的条件を提供する。

提案手法

• 表現行列 W の 0-ノルムとエラー行列 E の 0-ノルムの組み合わせを最小化する非凸最適化問題として問題を定式化し、パラメータ λ で重み付けする。
• バイスパースィティモデルを導入し、データ行列 X を、クリーンな部分空間を表す低ランク行列 L とスパースエラー行列 S に分解する。このとき、L はブロック対角表現制約を満たす。
• 最適化目的関数を f(L, E) = ||W||₀ / λ + ||E||₀ として定義する。ここで W は L = LW を満たす表現行列であり、E = X - L である。
• 非凸問題のグローバル最小値を反復的に近似するための RoSuRe アルゴリズムを提案する。このアルゴリズムは、交互最小化としきい値処理ステップを組み合わせる。
• エラー行列のサポートを分離し、解にスパース性を強制するために、直交射影演算子 P_{Ω_A} と P_{Ω_A^c} を用いる。
• 解空間における摂動解析を用いて、エラーのスパースティと表現構造の関係に基づき、正確な回復の十分条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 すべてのデータサンプルが汚染されている状況において、統一的なフレームワークが真の部分空間の和とスパースエラーの両方を回復できるか？
• RQ2 全サンプルが汚染されている状況下で、真の部分空間構造とエラー行列の正確な回復を保証する理論的条件は何か？
• RQ3 提案されたバイスパースィティモデルは、従来の低ランクおよびスパース表現モデルと比較して、広範なスパースコラプチャーを扱う上でどのように優れているか？
• RQ4 RoSuRe アルゴリズムは、実際の非凸最適化問題のグローバル解を効果的に近似できるか？
• RQ5 RoSuRe の実験的性能は、さまざまな汚染レベル下での合成データおよび実世界のコンピュータビジョンデータセットでどのように評価されるか？

主な発見

• 提案された RoSuRe アルゴリズムは、すべてのサンプルがスパースエラーによって汚染されている場合でも、データを正しい部分空間にパーティション分けし、元の低ランク構造を正確に回復できる。
• 正確な回復のための十分条件が証明された：λ ≥ ||W₀||₁ / σ が成り立つ場合、ここで σ は摂動の ℓ₁-ノルム差の下限であると、真の解がグローバル最小解となる。
• 合成データ上の実験では、理論的条件を満たす場合に RoSuRe は 100% の回復精度を達成し、高いスパースティレベルに対してもロバストであることが示された。
• 顔認識やモーションキャプチャなどの実世界のビジョンデータでは、RoSuRe は部分空間クラスタリングおよびエラー補正タスクにおいてベースライン手法を上回る性能を示した。
• 部分空間が重複している場合や、データが極めて汚染されている場合でも、強力な性能を示し、複雑なノイズパターンに対して耐性があることがわかった。
• 理論的解析により、非凸問題のグローバル最小解が導出された条件下で、真の部分空間とエラー分解に対応することが確認された。