[論文レビュー] Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering

Amar Shah, Zoubin Ghahramani|arXiv (Cornell University)|Sep 26, 2013

Bayesian Methods and Mixture Models被引用数 6

ひとこと要約

この論文は、事前に指定せずにクラスタ数を自動的に推定できる、カーネルに基づく半教師ありクラスタリングの非パrametricベイジアン手法、Determinantal Clustering Processes を導入する。カーネル行列の部分行列の行列式を用いて点同士の近接度を測定し、ハイパーパramータ学習を伴うギブスサンプリングによる効率的なMCMC推論を可能にし、合成データおよび実世界のデータセットにおいて優れた性能を示す。

ABSTRACT

Semi-supervised clustering is the task of clustering data points into clusters where only a fraction of the points are labelled. The true number of clusters in the data is often unknown and most models require this parameter as an input. Dirichlet process mixture models are appealing as they can infer the number of clusters from the data. However, these models do not deal with high dimensional data well and can encounter difficulties in inference. We present a novel nonparameteric Bayesian kernel based method to cluster data points without the need to prespecify the number of clusters or to model complicated densities from which data points are assumed to be generated from. The key insight is to use determinants of submatrices of a kernel matrix as a measure of how close together a set of points are. We explore some theoretical properties of the model and derive a natural Gibbs based algorithm with MCMC hyperparameter learning. The model is implemented on a variety of synthetic and real world data sets.

研究の動機と目的

• 半教師ありクラスタリングにおけるクラスタ数の未知性という課題に対処すること。
• 複雑なデータ密度をモデル化する必要を回避する非パrametricベイジアンアプローチの開発。
• カーネル手法を活用してクラスタリングにおける複雑なデータ構造を捉えること。
• 事前に指定せずにクラスタ数を自動的に推論できること。
• 高次元データに対してスケーラブルで理論的にも裏付けられた、ディリクレ過程混合モデルの代替手法を提供すること。

提案手法

• データポイントの集合の凝集度を測る指標として、カーネル行列の部分行列の行列式を用いる。
• 事前にクラスタ数を固定せずにクラスタ割り当てをモデル化する非パrametricベイジアンフレームワークを適用する。
• クラスタ構成の事後分布推論のためのギブスサンプリングアルゴリズムを採用する。
• MCMCに基づくハイパーパramータ学習を用いて、カーネルおよびクラスタリングパラメータを適応的に調整する。
• 入力データからカーネル行列を構築し、再生核ヒルベルト空間における類似関係を符号化する。
• 行列式に基づく近接度測定に基づいて、自然なクラスタ割り当ての事前分布を導出する。

実験結果

リサーチクエスチョン

• RQ1 事前に指定せずに、非パrametricベイジアン手法が半教師ありデータにおけるクラスタ数を推定できるか？
• RQ2 カーネル行列における行列式に基づく点の近接度測定が、高次元空間におけるクラスタリングを効果的に導けるか？
• RQ3 従来のディリクレ過程混合モデルと比較して、提案手法はスケーラビリティおよびクラスタリング精度の面で優れているか？
• RQ4 カーネル行列の行列式をクラスタリング基準として用いる理論的根拠は何か？
• RQ5 限られたラベル付きデータのもとで、合成データおよび実世界のデータセットの両方で、この手法は頑健な性能を発揮できるか？

主な発見

• クラスタ数が事前に指定されない状況でも、データから自然にクラスタ数を推定できることを確認した。
• 行列式に基づく近接度測定が、合成データおよび実世界のデータの両方で局所的なクラスタ構造を効果的に捉えている。
• MCMCハイパーパramータ学習を組み込んだギブスサンプリングアルゴリズムにより、安定的かつ効率的な事後分布推論が可能である。
• 密度モデル化が不適切となる高次元データにおいて、標準的なディリクル過程混合モデルを上回る性能を示した。
• 実世界のデータセットに対する実験結果から、ラベル付きデータが限られた状況でも、クラスタリングの精度と頑健性が向上していることがわかった。
• 理論的分析により、行列式に基づく測定が、クラスタの密集度と分離度のモデリングに適していることが確認された。