[論文レビュー] Graph Connectivity in Noisy Sparse Subspace Clustering

Yining Wang, Yu-Xiang Wang+1 more|arXiv (Cornell University)|Apr 4, 2015

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿は、一般位置または制限固有値の仮定の下で、角距離に基づく部分空間の統合によって正確なクラスタリングを保証する、ノイズありスパース部分空間クラスタリング（SSC）のための後処理手順を提案する。本稿は、次元が3より大きい部分空間に対して、敵対的ノイズを伴う完全に決定的モデルの下で、ノイズありSSCに対する最初の正確なクラスタリング保証を提供する。

ABSTRACT

Subspace clustering is the problem of clustering data points into a union of low-dimensional linear/affine subspaces. It is the mathematical abstraction of many important problems in computer vision, image processing and machine learning. A line of recent work (4, 19, 24, 20) provided strong theoretical guarantee for sparse subspace clustering (4), the state-of-the-art algorithm for subspace clustering, on both noiseless and noisy data sets. It was shown that under mild conditions, with high probability no two points from different subspaces are clustered together. Such guarantee, however, is not sufficient for the clustering to be correct, due to the notorious "graph connectivity problem" (15). In this paper, we investigate the graph connectivity problem for noisy sparse subspace clustering and show that a simple post-processing procedure is capable of delivering consistent clustering under certain "general position" or "restricted eigenvalue" assumptions. We also show that our condition is almost tight with adversarial noise perturbation by constructing a counter-example. These results provide the first exact clustering guarantee of noisy SSC for subspaces of dimension greater then 3.

研究の動機と目的

• 標準SSCが連結成分による過剰分割を引き起こす可能性があるノイズありスパース部分空間クラスタリングにおけるグラフの接続性問題に対処すること。
• 統計的ノイズ仮定なしの完全に決定的データモデルの下で、ノイズありSSCにおける正確なクラスタリングの理論的保証を提供すること。
• 角距離に基づく単純な後処理ステップ（部分空間の統合）が、高い確率で正しいクラスタリングを回復できることを示すこと。
• 敵対的ノイズ摂動下での反例を通じて、正確なクラスタリングのための導出条件がどれほどタイトであるかを示すこと。
• 部分空間次元が3を超えるノイズありSSCに対して、初めての証明可能な正確なクラスタリング保証を確立すること。

提案手法

• SSCグラフの各連結成分に対して低次元部分空間を計算し、角距離が小さい部分空間を統合する後処理ステップを提案する。
• 任意のd点集合の最小特異値に制限固有値仮定を適用し、ノイズに対するロバストネスを保証する。
• 同じ部分空間に属するデータ点が、接続性を損なうような線形従属関係にないことを保証するため、一般位置仮定を適用する。
• 初期スパースグラフに対してスペクトルクラスタリングを適用し、その後、部分空間類似度に基づく統合フェーズを実施する。
• Lassoに基づくスパース表現を用いて初期グラフを構築し、ノイズロバスト性を向上させるためにスパarsityパラメータλを調整する。
• 正規化されたデータと追加のガウスノイズを用いた、R^n内に2つの4次元部分空間を持つ合成データ上で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 元のグラフが非連結である場合、後処理ステップがノイズありSSCにおけるグラフ接続性を回復できるか？
• RQ2 次元が3より大きい部分空間を伴うノイズありSSCにおいて、どのような条件下で正確なクラスタリングが保証されるか？
• RQ3 特に敵対的ノイズ下で、正確なクラスタリングの理論的条件はどれほどタイトか？
• RQ4 統計的ノイズ仮定なしに、提案手法が完全なクラスタリングを達成できるか？
• RQ5 制限固有値仮定は必須であるか、それとも確率的ノイズモデル下では緩和可能か？

主な発見

• 提案された後処理手法は、ノイズなしデータでは99%のクラスタリング精度を達成し、ノイズありデータでは93%を達成する。これは、vanilla Lasso SSC（後処理なしで77%）よりも顕著に向上している。
• 部分空間検出特性（SEP）の相対的違反は低い（ノイズありデータで0.09）、これは性能不良がSEPの失敗によるものではなく、グラフの非連結性によるものであることを示している。
• 敵対的ノイズ下での反例により、制限固有値条件がほぼタイトであることが示され、その条件を緩和するとクラスタリング失敗が生じる。
• 本手法は、完全に決定的モデルの下で、次元が3を超えるノイズありSSCに対して、初めての証明可能な正確なクラスタリング保証を提供する。
• 理論的解析により、一般位置または制限固有値仮定の下で、後処理ステップが高確率で真のクラスタリングを回復することが示された。
• 結果から、スパース表現のサポートサイズをd+1点未満に緩和可能であることが示唆され、統合に際して主要な部分空間方向が保持されていればよい。