[論文レビュー] Robust Low-Rank Subspace Segmentation with Semidefinite Guarantees

Yuzhao Ni, Ju Sun+3 more|arXiv (Cornell University)|Sep 20, 2010

Sparse and Compressive Sensing Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、最適化中に類似行列に対称的正定値（PSD）制約を課すことで、より優れたスペクトル特性を確保し、後処理による対称化の必要を排除する、耐障害性の高い低ランク部分空間セグメンテーション手法LRR-PSDを提案する。LRR-PSDが標準LRRと同一の正規形において数学的に同等であることを証明し、固有値分解を用いた効率的かつスケーラブルな解法を提供することで、一般のSDPソルバーに比べ実用的に優れている。

ABSTRACT

Recently there is a line of research work proposing to employ Spectral Clustering (SC) to segment (group){Throughout the paper, we use segmentation, clustering, and grouping, and their verb forms, interchangeably.} high-dimensional structural data such as those (approximately) lying on subspaces {We follow {liu2010robust} and use the term "subspace" to denote both linear subspaces and affine subspaces. There is a trivial conversion between linear subspaces and affine subspaces as mentioned therein.} or low-dimensional manifolds. By learning the affinity matrix in the form of sparse reconstruction, techniques proposed in this vein often considerably boost the performance in subspace settings where traditional SC can fail. Despite the success, there are fundamental problems that have been left unsolved: the spectrum property of the learned affinity matrix cannot be gauged in advance, and there is often one ugly symmetrization step that post-processes the affinity for SC input. Hence we advocate to enforce the symmetric positive semidefinite constraint explicitly during learning (Low-Rank Representation with Positive SemiDefinite constraint, or LRR-PSD), and show that factually it can be solved in an exquisite scheme efficiently instead of general-purpose SDP solvers that usually scale up poorly. We provide rigorous mathematical derivations to show that, in its canonical form, LRR-PSD is equivalent to the recently proposed Low-Rank Representation (LRR) scheme {liu2010robust}, and hence offer theoretic and practical insights to both LRR-PSD and LRR, inviting future research. As per the computational cost, our proposal is at most comparable to that of LRR, if not less. We validate our theoretic analysis and optimization scheme by experiments on both synthetic and real data sets.

研究の動機と目的

• 部分空間セグメンテーションのためのスパース再構成に基づく類似行列学習手法において、スペクトル制御の欠如と後処理による対称化への依存という問題に対処すること。
• 類似行列学習の過程で明示的に対称的正定値（PSD）制約を課すことで、理論的および実用的耐障害性を向上させること。
• 低ランク部分空間セグメンテーションのための一般用途の半定値計画（SDP）ソルバーの代替として、計算効率の高い手法を提供すること。
• 提案手法LRR-PSDと元の低ランク表現（LRR）フレームワークとの正規形における理論的同等性を確立すること。
• 合成および実世界のデータセットを用いた実験を通じて、手法の性能とスケーラビリティを検証し、より高い耐障害性と効率性を示すこと。

提案手法

• 最適化中に類似行列に対称的正定値（PSD）制約を明示的に課す、低ランク表現（LRR）の変種であるLRR-PSDを提案する。
• 核ノルムペナルティとPSD制約を備えた凸最適化問題にLRR問題を再定式化し、解が本質的に対称的かつ正定値であることを保証する。
• 元のSDP定式化を置き換える、固有値分解で解ける等価な最適化形式を導出することで、計算効率を著しく向上させる。
• 核ノルムの双対表現を用い、データ行列の対称部に対するスペクトルスレッディングによって、PSD制約付き問題の最適解が得られることを活用する。
• PSD制約付き部分問題に対して閉形式解を採用し、反復的SDPソルバーを回避することで、より高速な収束を実現する。
• ノイズモデルを組み込んだ耐障害性の高いLRR-PSDのバージョンを導入し、計算効率を維持したままノイズの多いデータ上でも性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 類似行列学習の過程で対称的正定値（PSD）制約を課すことで、部分空間セグメンテーションのスペクトル特性と耐障害性が向上するか？
• RQ2 低ランク部分空間セグメンテーションにおいて、一般用途の半定値計画（SDP）ソルバーに比べ、LRR-PSDは計算的により効率的か？
• RQ3 LRR-PSDは正規形において元のLRRフレームワークと理論的に同等か？
• RQ4 耐障害性を高めたLRR-PSDのバージョンは、標準LRRに比べてノイズや汚損のあるデータ上でより優れた性能を発揮するか？
• RQ5 なぜLRR-PSDの結果として得られる類似行列は、実際にはしばしば正の固有値しか持たず、対称性に近い状態を保つのか？

主な発見

• LRR-PSDは正規形において元のLRRと理論的に同等であるため、両手法に強い理論的基盤を提供する。
• 提案手法は、SVDではなく固有値分解を用いることで、反復回数が少なく、実行時間が短くなるなど、標準LRRと同等またはそれ以上の計算効率を達成する。
• 実験的結果から、LRR-PSDは明示的な対称化処理がなくても、常に正の固有値のみを持つ類似行列を一貫して生成することが示された。
• 耐障害性の高いLRR-PSDのバージョンは、ノイズの多いデータ上でも優れた性能を発揮し、計算コストの増加は最小限に抑えられる。
• スペクトルクラスタリングパイプラインで一般的に行われる後処理による対称化ステップの必要性がなくなり、ワークフローが簡素化された。
• 合成データおよび実世界データを用いた実験により、LRR-PSDが大規模な部分空間セグメンテーションタスクにおいてよりスケーラブルかつ柔軟であることが確認された。