[論文レビュー] Warped Mixtures for Nonparametric Cluster Shapes

Tomoharu Iwata, David Duvenaud+1 more|arXiv (Cornell University)|Aug 9, 2014

Gaussian Processes and Bayesian Inference参考文献 25被引用数 14

ひとこと要約

この論文では、非線形変換によって低次元の混合ガウス分布を変形することで、柔軟で非球形のクラスターシェイプを学習する非パrametricベイジアンモデル、Warped Mixturesを提案する。混合およびワーピングパラメータを解析的に周辺化することで、クラスタの数、形状、次元数を自動的に推定でき、高次元データにおけるクラスタ回復および密度推定において、無限ガウス混合モデルを上回る性能を発揮する。

ABSTRACT

A mixture of Gaussians fit to a single curved or heavy-tailed cluster will report that the data contains many clusters. To produce more appropriate clusterings, we introduce a model which warps a latent mixture of Gaussians to produce nonparametric cluster shapes. The possibly low-dimensional latent mixture model allows us to summarize the properties of the high-dimensional clusters (or density manifolds) describing the data. The number of manifolds, as well as the shape and dimension of each manifold is automatically inferred. We derive a simple inference scheme for this model which analytically integrates out both the mixture parameters and the warping function. We show that our model is effective for density estimation, performs better than infinite Gaussian mixture models at recovering the true number of clusters, and produces interpretable summaries of high-dimensional datasets.

研究の動機と目的

• 高次元データにおける非球形または重さびの大きいクラスターシェイプを捉えることに制限をもつガウス混合モデルの課題に対処すること。
• 事前に指定されない真のクラスタ数およびその内在的な低次元多様体を推定できる非パラメトリック手法を開発すること。
• クラスタを変形された多様体としてモデル化することで、高次元データセットにおける解釈可能なクラスタリングおよび密度推定を可能にすること。
• 混合およびワーピングパラメータの両方を解析的に周辺化する効率的な推論スキームを導出すること。

提案手法

• モデルは、クラスタ構造を表現するために低次元空間における潜在的な混合ガウス分布を使用する。
• 非線形なワーピング関数が、潜在的なガウス分布を観測空間における複雑で非パラメトリックなクラスターシェイプに変形する。
• 柔軟な形状学習を可能にするために、ワーピング関数をガウス過程を用いて非パラメトリックにモデル化する。
• クラスタ数および多様体次元数の自動推定を可能にするために、非共役な階層的事前分布を採用する。
• 混合重みおよびワーピング関数の両方を解析的に周辺化する新しい推論スキームを採用し、高価なMCMCサンプリングを回避する。
• スケーラブルな推論を可能にするため、変分近似を用いて最終的な事後分布を計算する。

実験結果

リサーチクエスチョン

• RQ1 固定されたパラメトリック形式を仮定せずに、非パラメトリックベイジアンモデルは複雑で非球形のクラスターシェイプを学習できるか？
• RQ2 モデルは高次元データにおいて、クラスタ数およびその内在次元数を自動的に推定できるか？
• RQ3 潜在的な混合ガウス分布をワープすることで、標準的な無限ガウス混合モデルと比較して、クラスタ回復および密度推定が向上するか？
• RQ4 モデルは高次元データ多様体の解釈可能な低次元要約を生成できるか？

主な発見

• Warped Mixtureモデルは、曲がった形状や重さびの大きい構造をもつ合成データにおいて、真のクラスタ数の回復において無限ガウス混合モデルを顕著に上回る。
• 事前の知識なしに、高次元設定下でも正しいクラスタ数およびその内在次元数を的確に推定する。
• 混合およびワーピングパラメータの解析的周辺化により、MCMCベースの代替手法と比較して、より高速かつ安定した推論が可能になる。
• 実世界のデータセットにおいても、正確な密度推定を達成し、尤度およびクラスタリング性能の両面で改善が確認された。