[論文レビュー] Robust Discriminative Clustering with Sparse Regularizers

Nicolas Flammarion, Balamurugan Palaniappan+1 more|arXiv (Cornell University)|Aug 29, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用数 8

ひとこと要約

本論文は、凸最適化を用いて次元削減とクラスタリングを同時に実行する、頑健でスパース正則化付きの判別クラスタリングフレームワークを提案する。新しいスパース拡張を理論的保証とともに導入し、$O(nd^2)$の効率的アルゴリズムを提供しており、特に不要な特徴量を含む高次元設定において、非スパースおよび交互最適化手法を凌駕するクラスタ回復性能を示す。

ABSTRACT

Clustering high-dimensional data often requires some form of dimensionality reduction, where clustered variables are separated from "noise-looking" variables. We cast this problem as finding a low-dimensional projection of the data which is well-clustered. This yields a one-dimensional projection in the simplest situation with two clusters, and extends naturally to a multi-label scenario for more than two clusters. In this paper, (a) we first show that this joint clustering and dimension reduction formulation is equivalent to previously proposed discriminative clustering frameworks, thus leading to convex relaxations of the problem, (b) we propose a novel sparse extension, which is still cast as a convex relaxation and allows estimation in higher dimensions, (c) we propose a natural extension for the multi-label scenario, (d) we provide a new theoretical analysis of the performance of these formulations with a simple probabilistic model, leading to scalings over the form $d=O(\sqrt{n})$ for the affine invariant case and $d=O(n)$ for the sparse case, where $n$ is the number of examples and $d$ the ambient dimension, and finally, (e) we propose an efficient iterative algorithm with running-time complexity proportional to $O(nd^2)$, improving on earlier algorithms which had quadratic complexity in the number of examples.

研究の動機と目的

• 既存の非凸的で交互最適化に基づくクラスタリング手法における理論的分析の不足とスケーラビリティの欠如に対処する。
• 判別クラスタリングにスパース拡張を導入し、関連する特徴量の選択と高次元データにおけるより優れた性能を実現する。
• ハイパーパramータを必要とせず、クラスタバランスを暗黙的に処理する凸緩和フレームワークを提供する。
• 判別クラスタリングの定式化を自然に多ラベル状況に拡張し、凸性を維持する。
• サンプル数に線形に依存する効率的なアルゴリズムを開発し、従来の2次時間の手法を改善する。

提案手法

• 判別クラスタリングにおける二乗損失と同等の凸最適化問題に、クラスタリングと次元削減の統合を再定式化する。
• $w$ の投影ベクトルに $\ell_1$-正則化を導入し、関連する特徴量の選択を促進する。
• 理論的取り扱いやすさを保ちつつ、スパース判別クラスタリング問題を凸緩和として定式化する。
• 複数のラベルを1データポイントに割り当てるラベル行列 $Y$ を用いて、複数ラベルクラスタリングにフレームワークを拡張する。
• $O(nd^2)$の時間計算量を持つ反復的アルゴリズムを提案し、従来の $O(n^2)$ に依存する手法を著しく改善する。
• 相関に基づく目的関数における平均中心化を処理するため、中心化射影 $\Pi_n = I_n - \frac{1}{n}1_n1_n^T$ を用いる。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングと次元削減の統合を凸最適化として定式化できるか。これは、既存の判別クラスタリングフレームワークと同等か。
• RQ2 判別クラスタリングにスパース正則化を組み込むことで、凸性が保たれ、高次元データにおけるクラスタ回復性能が向上するか。
• RQ3 スパースおよびアフィン不変ケースにおいて、環境次元 $d$、サンプルサイズ $n$、クラスタビリティの間の理論的スケーリング則は何か。
• RQ4 提案手法を自然に多ラベルクラスタリングに拡張でき、凸性と効率性を維持できるか。
• RQ5 $O(nd^2)$の計算量を持つアルゴリズムを設計でき、実用的に従来の $O(n^2)$ の手法を凌駆できるか。

主な発見

• 提案されたスパース判別クラスタリング手法は、Heart、Breast-cancer、Sonarといった2クラスデータセットにおいて、非スパース判別クラスタリング、交互最適化、および $K$-means よりも低いクラスタ誤差を達成した。
• DNA(1 vs 2,3)データセット（$d=180$）では、スパース手法が75%のクラスタ誤差を達成したのに対し、非スパース手法は83%であった。これは、不要な特徴量に対して優れたロバスト性を示している。
• $a1a$ データセット（$d=113$）では、スパース手法が74%の誤差を示し、$K$-means（80%）と交互最適化（98%）を上回った。これは、高次元性における有効性を示している。
• $w1a$ データセット（$d=290$）では、スパース手法が11%の誤差を達成し、$K$-means（16%）と交互最適化（92%）を著しく上回った。これは、ノイズが多く高次元な環境下での優位性を確認した。
• COCOデータセット（2000枚の画像、80ラベル）における多ラベル実験では、$k=30$ 個の予測ラベルを用いて、人間、車、いすといった10個の高相関ラベルを効果的に回復した。これは、無教師多ラベル発見の有効性を示している。
• 理論的分析により、アフィン不変ケースでは $d = O(\sqrt{n})$ がクラスタ回復に十分であり、スパースケースでは $d = O(n)$ であることが示された。これは、クラスタビリティ下での良好なスケーリングを示している。