[論文レビュー] Theoretical Analysis of Sparse Subspace Clustering with Missing Entries

Manolis C. Tsakiris, Renè Vidal|arXiv (Cornell University)|Jan 1, 2018

Sparse and Compressive Sensing Techniques参考文献 34被引用数 5

ひとこと要約

本稿は、欠損データを伴うスパース部分空間クラスタリング（SSC）の理論的保証を提供し、欠損値をゼロで埋めたデータを、各点の観測パターンに射影することで性能が著しく向上することを示している。主な洞察は、射影によって欠損値が増加するが、データが射影された部分空間と整合されるため、不完全な観測下でもより良いクラスタリングが可能になることである。

ABSTRACT

Sparse Subspace Clustering (SSC) is a popular unsupervised machine learning method for clustering data lying close to an unknown union of low-dimensional linear subspaces; a problem with numerous applications in pattern recognition and computer vision. Even though the behavior of SSC for complete data is by now well-understood, little is known about its theoretical properties when applied to data with missing entries. In this paper we give theoretical guarantees for SSC with incomplete data, and analytically establish that projecting the zero-filled data onto the observation pattern of the point being expressed leads to a substantial improvement in performance. The main insight that stems from our analysis is that even though the projection induces additional missing entries, this is counterbalanced by the fact that the projected and zero-filled data are in effect incomplete points associated with the union of the corresponding projected subspaces, with respect to which the point being expressed is complete. The significance of this phenomenon potentially extends to the entire class of self-expressive methods.

研究の動機と目的

• 欠損値を伴うデータにスパース部分空間クラスタリング（SSC）を適用した際の理論的性能保証を確立すること。
• ゼロ埋めSSC（ZF-SSC）と射影ゼロ埋めSSC（PZF-SSC）の2つの定式化を分析・比較すること。ここで、PZF-SSCは、各点の観測パターンに射影した後、欠損値をゼロで埋める。
• 理論的にPZF-SSCがZF-SSCを上回ることを示し、従来の直感に反するが、欠損値が増加するにもかかわらず、より良い性能を達成することを裏付ける。
• ノイズを解析の後段階まで分離しない、新たな解析フレームワークを構築し、耐性を高め、より鋭い境界を得ることを目的とする。

提案手法

• 2つの変種を提案：ZF-SSC（欠損値をゼロで埋める）とPZF-SSC（各点の観測パターンに射影した後、ゼロで埋める）。
• SSCにおける双対ベクトルのノルムに関する新規補題を導入し、不完全データにおけるSSCのより鋭い理論的解析を可能にする。
• 凸幾何学と高次元確率の道具を用い、点集合の内接球半径および外接球半径を用いて、欠損データ下での部分空間の幾何的構造を特徴づける。
• 確率的境界を用いてランダムな欠損パターン下での高確率性能保証を導出する。特に、ランダム射影と球面集中の性質を応用する。
• ZF-SSCおよびPZF-SSCの両者について、許容可能な欠損値の割合に関する決定的および確率的境界を導出する。
• 同じフレームワークを用いて、元のデータが汚損していない場合とノイズが存在する場合を再考し、先行研究よりも強いノイズ耐性とより弱い条件を達成する。

実験結果

リサーチクエスチョン

• RQ1 SSCを欠損値を伴うデータに適用した際、理論的性能保証を確立できるか？
• RQ2 各点の観測パターンに射影したゼロ埋めデータを用いることで、クラスタリング性能が向上するか？その理由は何か？
• RQ3 理論的境界下で、ZF-SSCとPZF-SSCの両者における欠損値の許容レベルを比較するとどうなるか？
• RQ4 提案された解析フレームワークは、既存手法よりもノイズ耐性の境界を鋭くし、正確な部分空間回復のための条件を弱めることができるか？
• RQ5 欠損値が増加するにもかかわらず、射影機構により元の部分空間構造とよりよく整合されるようになるか？

主な発見

• PZF-SSCは、ZF-SSCよりも多くの欠損値を許容できる。これは、射影された部分空間とよりよく整合されるためである。
• 理論的解析により、各点の観測パターンに射影したデータを用いることで性能が向上することが確認され、欠損値の増加にもかかわらず有効である。
• ノイズの分離を遅らせる新規な双対ベクトルノルム解析により、先行研究[33]よりも高いノイズ耐性を達成した。
• 汚損のないデータの場合、[22]の条件よりも弱く、かつより容易に計算可能な条件を、正確な部分空間回復のためのものとして得た。
• 内接球半径および射影ノルムに関する確率的境界により、ランダムな欠損パターン下でも高確率保証が可能となり、データ次元および部分空間構造に明示的な依存関係を持つ。
• この解析フレームワークは一般化可能であり、一般ノイズを伴うSSCの理論的境界を改善し、既存のアプローチよりも鋭い性能保証を提供する。