[論文レビュー] Analysis and Improvement of Low Rank Representation for Subspace segmentation

Siming Wei, Zhouchen Lin|arXiv (Cornell University)|Jul 8, 2011

Sparse and Compressive Sensing Techniques参考文献 12被引用数 49

ひとこと要約

この論文は、部分空間セグメンテーションにおける低ランク表現（LRR）を分析し、ノイズなしの場合に形状相互作用行列（SIM）因子分解と同等であることを証明し、最適化の最小値がデータ行列のランクに関連することを示している。また、補正済みデータを辞書として使用する、ロバスト・シェイプ・インタラクション（RSI）を提案し、LRRに比べて重度の汚染下でも著しく高いロバスト性を示す。実験は合成データおよび実データで実施された。

ABSTRACT

We analyze and improve low rank representation (LRR), the state-of-the-art algorithm for subspace segmentation of data. We prove that for the noiseless case, the optimization model of LRR has a unique solution, which is the shape interaction matrix (SIM) of the data matrix. So in essence LRR is equivalent to factorization methods. We also prove that the minimum value of the optimization model of LRR is equal to the rank of the data matrix. For the noisy case, we show that LRR can be approximated as a factorization method that combines noise removal by column sparse robust PCA. We further propose an improved version of LRR, called Robust Shape Interaction (RSI), which uses the corrected data as the dictionary instead of the noisy data. RSI is more robust than LRR when the corruption in data is heavy. Experiments on both synthetic and real data testify to the improved robustness of RSI.

研究の動機と目的

• 低ランク表現（LRR）の部分空間セグメンテーションにおける理論的基盤を分析すること。
• ノイズなしの場合にLRRと形状相互作用行列（SIM）因子分解との同等性を確立すること。
• ノイズあり状態におけるLRRの挙動と、ロバストPCAとの関連を調査すること。
• 新たな手法を提案することで、LRRの重度のデータ汚染に対するロバスト性を向上させること。
• 提案手法の性能向上を、合成データおよび実世界のデータセットの両方で検証すること。

提案手法

• ノイズなしの場合に、LRR最適化モデルが形状相互作用行列（SIM）のデータ行列に等しい一意の解を持つことを証明すること。
• LRR最適化モデルの最小値が、データ行列のランクに正確に等しいことを示すこと。
• ノイズありの場合に、LRRが列スパースなロバストPCAによるノイズ除去を組み込んだ因子分解手法に近似することを示すこと。
• 補正済みデータ行列を元のノイズありデータではなく辞書として使用する、ロバスト・シェイプ・インタラクション（RSI）を提案すること。
• 低ランク表現プロセス中にノイズ補正済み表現を活用することで、ロバスト性を向上させるRSIの定式化をすること。
• ノイズ補正を辞書学習フェーズに統合することで、高汚染レベル下での部分空間セグメンテーションの性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 ノイズなしの場合に、LRRと形状相互作用行列（SIM）因子分解との理論的関係は何か？
• RQ2 LRR最適化モデルの最小値は、データ行列のランクとどのように関連しているか？
• RQ3 ノイズあり状態において、LRRはどの程度、列スパースなロバストPCAを組み込んだ因子分解手法を近似するか？
• RQ4 ノイズありデータを補正済みデータに置き換えた辞書を使用することで、部分空間セグメンテーションにおけるロバスト性は向上するか？
• RQ5 重度のデータ汚染下において、提案されたRSI手法はLRRに比べてどの程度ロバスト性に優れているか？

主な発見

• ノイズなしの場合に、LRR最適化モデルは一意の解を持ち、これはデータ行列の形状相互作用行列（SIM）と数学的に同等である。
• LRR最適化モデルの最小値は、正確にデータ行列のランクに等しい。
• ノイズあり状態では、LRRは列スパースなロバストPCAによるノイズ除去を組み込んだ因子分解手法として解釈できる。
• 補正済みデータを辞書として使用する提案されたRSI手法は、重度のデータ汚染下でLRRに比べて優れたロバスト性を示す。
• 合成データおよび実データにおける実験により、RSIが重度の汚染下でも部分空間セグメンテーションの性能を向上させることを確認し、その向上したロバスト性を検証した。