[論文レビュー] Filtrated Spectral Algebraic Subspace Clustering

Manolis C. Tsakiris, Renè Vidal|arXiv (Cornell University)|Oct 15, 2015

Face and Expression Recognition参考文献 24被引用数 6

ひとこと要約

本稿では、各データポイントの真の部分空間を含む逐次的に小さくなる部分空間の列を構築することで、ロバストな距離ベースの類似度行列を計算する、新しい手法であるFiltrated Spectral Algebraic Subspace Clustering (FSASC) を提案する。この手法は、ノイズありで次元が任意の部分空間において優れたクラスタリング性能を発揮し、Hopkins155およびMNISTデータセットにおいて最先端のスパースおよび低ランク手法を上回る。その結果、クラス内接続性は高く、クラス間接続性は低くなる。

ABSTRACT

Algebraic Subspace Clustering (ASC) is a simple and elegant method based on polynomial fitting and differentiation for clustering noiseless data drawn from an arbitrary union of subspaces. In practice, however, ASC is limited to equi-dimensional subspaces because the estimation of the subspace dimension via algebraic methods is sensitive to noise. This paper proposes a new ASC algorithm that can handle noisy data drawn from subspaces of arbitrary dimensions. The key ideas are (1) to construct, at each point, a decreasing sequence of subspaces containing the subspace passing through that point; (2) to use the distances from any other point to each subspace in the sequence to construct a subspace clustering affinity, which is superior to alternative affinities both in theory and in practice. Experiments on the Hopkins 155 dataset demonstrate the superiority of the proposed method with respect to sparse and low rank subspace clustering methods.

研究の動機と目的

• 代数的部分空間クラスタリング（ASC）がノイズのあるデータや非等次元部分空間を扱う能力に制限を受ける問題に対処すること。
• ノイズの存在下でも高いクラス内接続性と低いクラス間接続性を維持できるロバストな部分空間クラスタリング手法を開発すること。
• 角度ベースの類似度を、さまざまな部分空間次元にわたってより優れた性能を発揮する距離ベースの類似度に置き換えること。
• 代数的部分空間クラスタリングの適用範囲を、ノイズと任意の部分空間次元を持つ実世界データに拡張すること。
• スパースおよび低ランク部分空間クラスタリング手法の理論的裏付けがしっかりしたノイズ耐性の高い代替手法を提供すること。

提案手法

• 各データポイント（基準点）に対して、そのポイントに関連する真の部分空間を含む部分空間の減少列（フィルトレーション）を構築する。
• フィルトレーションの各段階で、他の全ポイントを現在の部分空間に射影し、その射影のℓ2ノルムを類似度の指標として計算する。
• 射影された距離の系列を用いて、クラス内関係を強調する新しい距離ベースの類似度行列を定義する。
• 得られた類似度行列に対してスペクトルクラスタリングを適用し、最終的なクラスタリングを取得する。
• 感度とノイズ耐性のトレードオフを制御できるパrameterizedフィルタリングプロセスを導入する。
• GPCA/ASCにおける角度ベースの類似度を、次元が異なる部分空間でも性能が向上する距離ベースの代替手法に置き換える。

実験結果

リサーチクエスチョン

• RQ1 フィルトレーションに基づくアプローチは、任意次元の部分空間におけるノイズに対して代数的部分空間クラスタリングのロバスト性を向上させ得るか？
• RQ2 逐次的射影から得られる距離ベースの類似度は、混合次元部分空間クラスタリングにおいて角度ベースの類似度を上回る性能を発揮するか？
• RQ3 提案手法は、最先端のスパースおよび低ランク手法よりも高いクラス内接続性と低いクラス間接続性を達成できるか？
• RQ4 実世界のデータセット（例：Hopkins155およびMNIST）において、ノイズと高次元射影の下で本手法はどの程度の性能を発揮するか？
• RQ5 提案されたフィルトレーションフレームワークにおいて、クラスタリング精度と計算複雑度のトレードオフはいかなるものか？

主な発見

• Hopkins155データセットにおいて、FSASCは全モーションで平均クラスタリング誤差1.18%を達成し、同じ設定下でSSC-raw（2.18%）、LRR（5.05%）、LSR（4.54%）を上回った。
• 2桁のMNISTクラスタリングにおいて、FSASCは(1,0)ペアで平均誤差0.50%、(1,5)ペアで1.11%を記録し、SASC-DおよびSSC-rawを大きく上回った。
• Hopkins155において、FSASCはクラス間接続性を5%にまで低減した（SSC-rawは31%、SASC-Dは46%）。これは、より強いクラスタ分離性を示している。
• Hopkins155において、FSASCはクラス内接続性を16%に維持しており、部分空間内での結束性が強いことを示している。
• 2モーションケースにおいて、FSASCはSASC-Dを大幅に上回った（例：0.80% vs. 5.65%の誤差）。これは、フィルトレーションと距離ベースの類似度設計の優位性を確認している。
• 高い計算コストであるが、784DのMNISTデータを13Dに射影してもFSASCは有効に機能するが、次元が高くなると部分空間の分離性が低下するため性能が劣化する。