[論文レビュー] Beyond Linear Subspace Clustering: A Comparative Study of Nonlinear Manifold Clustering Algorithms

Maryam Abdolali, Nicolas Gillis|arXiv (Cornell University)|Mar 19, 2021

Face and Expression Recognition参考文献 186被引用数 43

ひとこと要約

この論文は、非線形多様体クラスタリングアルゴリズムの包括的な比較研究を提示し、局所性保存型、カーネルベース型、ニューラルネットワークベース型のアプローチに分類する。合成データおよび実世界のデータセット上で代表的な手法を評価した結果、ニューラルネットワークベースの手法は事後処理がなければしばしば性能を発揮しない一方で、カーネル型および局所性保存型手法はより優れた経験的性能と頑健性を示した。

ABSTRACT

Subspace clustering is an important unsupervised clustering approach. It is based on the assumption that the high-dimensional data points are approximately distributed around several low-dimensional linear subspaces. The majority of the prominent subspace clustering algorithms rely on the representation of the data points as linear combinations of other data points, which is known as a self-expressive representation. To overcome the restrictive linearity assumption, numerous nonlinear approaches were proposed to extend successful subspace clustering approaches to data on a union of nonlinear manifolds. In this comparative study, we provide a comprehensive overview of nonlinear subspace clustering approaches proposed in the last decade. We introduce a new taxonomy to classify the state-of-the-art approaches into three categories, namely locality preserving, kernel based, and neural network based. The major representative algorithms within each category are extensively compared on carefully designed synthetic and real-world data sets. The detailed analysis of these approaches unfolds potential research directions and unsolved challenges in this field.

研究の動機と目的

• 複雑な非線形データ構造をモデル化するための線形部分空間クラスタリングの限界を解消すること。
• 非線形多様体クラスタリングアルゴリズムを3つの主要カテゴリに分類する体系的な分類法を提供すること：局所性保存型、カーネルベース型、ニューラルネットワークベース型。
• 合成データおよび実世界のデータセット上で、これらのカテゴリに属する代表的なアルゴリズムの性能を経験的に比較すること。
• 非線形多様体クラスタリングにおける主な課題と未解決問題を特定すること、特にハイパーパrameterの感度、スケーラビリティ、理論的保証の欠如。
• 今後の研究を導くために、交差する多様体のクラスタリングや外れ値に対する頑健性の向上といった未解決の問題を浮き彫りにすること。

提案手法

• 非線形部分空間クラスタリング手法を3つのカテゴリに分類する新しい分類法を提案：局所性保存型、カーネルベース型、ニューラルネットワークベース型。
• 各カテゴリから代表的なアルゴリズム（LMC、KSC、DSC-Net）をレビュー・比較し、元の空間または変換済み空間における自己表現性を用いる。
• 標準的な線形SCのパイプラインに従い、学習済み係数行列に対してスペクトルクラスタリングを適用して最終的なクラスタリングを実施。
• 局所性保存型手法では、埋め込み空間における局所構造を維持するためにラプラシアン正則化を適用。
• カーネル手法を用いて、データを高次元の特徴空間にマップし、その上で線形クラスタリングが可能になるようにする。
• ニューラルネットワークベースのアプローチでは、深層オートエンコーダーを用いて非線形表現を学習し、潜在空間における自己表現性を強制することに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 局所性保存型、カーネルベース型、ニューラルネットワークベース型の非線形多様体クラスタリングアルゴリズムの各クラスは、クラスタリング精度および頑健性においてどのように比較されるか？
• RQ2 ニューラルネットワークベースのアプローチは、手動の事後処理なしに、どのように部分空間保存型表現を達成できるか？
• RQ3 非線形クラスタリングアルゴリズムは、近傍サイズ、カーネル帯域幅、訓練エポック数などのハイパーパrameterに対してどの程度感度を示すか？
• RQ4 既存の非線形SC手法における計算上のボトル neck は何か、特にn×n係数行列の保存とグラム行列の計算に関して？
• RQ5 既存の非線形SC手法は、交差する多様体や密に近接した多様体からのデータを信頼性を持ってクラスタリングできるか？

主な発見

• DSC-Netのようなニューラルネットワークベースの非線形SC手法は、専用の事後処理ステップがなければ、部分空間保存型表現を生成できないことが多く、潜在空間における自己表現性からのインダクティブバイアスが不十分であることを示している。
• カーネルベース型および局所性保存型手法は、独立または明確に分離された多様体を有する合成データにおいて、一般的にニューラルネットワークベースの手法を上回る性能を示す。
• 多様体が近接しているか交差している場合には、すべての手法の性能が著しく低下するが、特に近傍やカーネルパラメータに敏感な局所性保存型およびカーネルベース型手法に顕著である。
• 計算コストは依然として主要なボトル neck であり、特に近傍グラフのO(n²)の複雑性とn×n係数行列の保存に起因し、10,000点を超えるデータではスケーラビリティが制限される。
• 非線形SCには理論的保証がほとんどなく、特にニューラルネットワークベースの手法では、モデルの挙動が解釈が難しく、自明な埋め込みに陥りがちである。
• 重度の汚損や外れ値に対する頑健性は依然として重要な課題であり、多くの手法がFrobeniusノルムに基づくデータ適合に依存しているため、ノイズや遮蔽に対して感受性が強い。