[論文レビュー] The Hidden Convexity of Spectral Clustering

James Voss, Mikhail A. Belkin+1 more|arXiv (Cornell University)|Mar 4, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用数 9

ひとこと要約

本稿は、多様なクラスタリングを、単位球面上での凸最大化による基底回復として定式化する、新しいスペクトルクラスタリングフレームワークを提案する。適切な対照関数のクラスを最適化することで、グローバル最大値がクラスタ方向に対応し、凸性の『隠れた性質』を確立することで、凸最大化による理論的・効率的なクラスタ回復を可能にし、スペクトル空間における従来のk-meansとは対照的に理論的裏付けを持つ代替手法を提供する。

ABSTRACT

In recent years, spectral clustering has become a standard method for data analysis used in a broad range of applications. In this paper we propose a new class of algorithms for multiway spectral clustering based on optimization of a certain "contrast function" over the unit sphere. These algorithms, partly inspired by certain Independent Component Analysis techniques, are simple, easy to implement and efficient. Geometrically, the proposed algorithms can be interpreted as hidden basis recovery by means of function optimization. We give a complete characterization of the contrast functions admissible for provable basis recovery. We show how these conditions can be interpreted as a "hidden convexity" of our optimization problem on the sphere; interestingly, we use efficient convex maximization rather than the more common convex minimization. We also show encouraging experimental results on real and simulated data.

研究の動機と目的

• 標準的な多様なスペクトルクラスタリングの理論的・実用的限界、特にスペクトル空間におけるヒューリスティックなk-meansクラスタリング依存の是正を目的とする。
• クラスタ構造がk次元空間内の直交方向に対応する、基底回復問題としてスペクトルクラスタリングを形式化すること。
• グローバル最大値が球面上の真のクラスタ方向に正確に一致する対照関数のクラスを同定・特徴づけること。
• 凸最大化—通常の凸最小化とは対照的に—この幾何的設定において、隠れた凸性のおかげで効率的に解ける理由を明らかにすること。
• 反復的クラスタリング手法（例：k-means）の代替として、理論的根拠があり実装可能な、スペクトル埋め込み空間における代替手法を提供すること。

提案手法

• 本手法は、埋め込みデータ点 $ \mathbf{x}_i $ を用いて、単位球面 $ \mathbb{S}^{k-1} $ 上で $ F_g(\mathbf{u}) = \frac{1}{n} \sum_{i=1}^n g(\mathbf{u}^T \mathbf{x}_i) $ を最大化する形でクラスタ回復を定式化する。
• 関数 $ g $ のクラスを同定し、$ t \mapsto g(\sqrt{t}) $ が厳密に凸であることを満たすようにすることで、$ F_g $ のグローバル最大値がクラスタ方向に一致することを保証する。
• 幾何的構造を活用する：クラスタが完全に分離されている場合、スペクトル埋め込みは直交基底を形成し、$ F_g $ の最大値がこれらの基底ベクトルを回復する。
• 埋め込みが基底構造を満たす限り、非正規化・正規化されたグラフラプラシアンの選択に依存しない。
• 隠れた凸性構造のおかげで、一般にNP困難とされる問題でも効率的な最適化手法を適用可能である。
• アルゴリズムは単純で効率的であり、実装可能であり、GitHubでコードを公開している。

実験結果

リサーチクエスチョン

• RQ1 スペクトルクラスタリングは、クラスタ構造がスペクトル埋め込み空間内の直交方向に対応する球面上の基底回復問題として再解釈可能か？
• RQ2 どのような対照関数のクラスが、球面上のグローバル最大値が真のクラスタ方向に正確に一致することを保証するか？
• RQ3 なぜ凸最大化—通常の凸最小化とは対照的に—この設定で有効であり、一般にNP困難であるにもかかわらず、効率的な最適化が可能になる構造的性質は何か？
• RQ4 最適化問題の『隠れた凸性』をどのように形式的に特徴づけ、理論的回復に活用できるか？
• RQ5 提案手法は、実データおよび合成データにおいて、標準的なk-meansを用いたスペクトルクラスタリングに比べてどの程度優れているか？

主な発見

• 本稿は、$ t \mapsto g(\sqrt{t}) $ が厳密に凸である任意の対照関数 $ g $ に対して、球面 $ \mathbb{S}^{k-1} $ 上での $ F_g $ のグローバル最大値が、真のクラスタ基底ベクトルに対応する方向 $ \pm \mathbf{z}_i $ に正確に一致することを証明する。
• 最適化問題は『隠れた凸性』を示す—凸関数を凸領域上で最大化することは一般にNP困難であるが、スペクトル埋め込みの特定の幾何的構造のおかげで、効率的な解法が可能である。
• データが $ \mathbb{R}^k $ 内に完全な単体を形成する場合、各クラスタが原点からの別々の線形方向にマッピングされる限り、真のクラスタ基底が理論的に回復可能である。
• 埋め込みが直交基底を生成する限り、グラフラプラシアンの選択（非正規化、対称正規化）に依存しない。
• 合成および実世界のデータセットにおける実験結果から、提案手法は標準的なk-meansを用いたスペクトルクラスタリングと同等または優れたクラスタリング性能を達成することが示された。
• 関数 $ g(\sqrt{t}) $ における厳密な凸性の条件のおかげで、類似したICAベースの手法が抱える偽の局所最大値を回避する。