[論文レビュー] Fast search for Dirichlet process mixture models

Hal Daumé|ArXiv.org|Jul 10, 2009

Bayesian Methods and Mixture Models参考文献 11被引用数 38

ひとこと要約

本稿では、ディリクレ過程混合モデル（DPMMs）における最大後確信度（MAP）クラスタリングを高速に探索するためのA*およびビーム探索に基づくアプローチを提案する。従来のMCMCおよび変分推論手法に比べて著しく性能が優れており、60,000件のデータポイントに対して15分未塔で近最適なクラスタリングを達成している。速度および対数尤度性能の両面でギブスサンプリングや変分推論と同等またはそれを上回る結果を得ている。

ABSTRACT

Dirichlet process (DP) mixture models provide a flexible Bayesian framework for density estimation. Unfortunately, their flexibility comes at a cost: inference in DP mixture models is computationally expensive, even when conjugate distributions are used. In the common case when one seeks only a maximum a posteriori assignment of data points to clusters, we show that search algorithms provide a practical alternative to expensive MCMC and variational techniques. When a true posterior sample is desired, the solution found by search can serve as a good initializer for MCMC. Experimental results show that using these techniques is it possible to apply DP mixture models to very large data sets.

研究の動機と目的

• 大規模データセットにおけるディリクレ過程混合モデル（DPMMs）の推論における高い計算コストを軽減すること。
• MCMCおよび変分推論の限界を克服すること。DPMMsでは、これらの手法は遅いか、収束保証がない。
• サンプリングや最適化に高コストがかかるのを避ける、実用的でスケーラブルなMAPクラスタリングの代替手法を開発すること。
• MCMCのための高速な初期化手法を提供し、DPMMsにおける事後分布サンプリングの高速化を図ること。
• 共役指数型分布族の尤度を用いた連続および離散データの両方に対して、探索アルゴリズムの有効性を示すこと。

提案手法

• DPMMsのクラスタ割り当ての空間を探索するためにA*およびビーム探索アルゴリズムを適用し、ヒューリスティックスコア関数で誘導する。
• データ尤度とクラスタ事前分布を組み合わせた、修正された非妥当なスコア関数を用い、探索を効率的に誘導する。
• 指数型分布族の尤度と事前分布の共役性を活用し、クラスタ割り当ての正確な事後確率を計算する。
• ビーム探索を用いて低スコアのパスを pruning することで、MAP目的関数を最適化する。
• DPの交換可能性の性質を活用し、探索中に条件付き確率を効率的に計算する。
• 十分統計量をキャッシュし、データ構造を用いて探索中の尤度再計算を減らす。

実験結果

リサーチクエスチョン

• RQ1 A*およびビーム探索といった探索ベースの手法は、DPMMsにおけるMAP推論のMCMCおよび変分推論の代替としてスケーラブルであるか。
• RQ2 大規模データセットにおいて、探索ベースのMAP推論の性能はギブスサンプリングと比べて対数尤度および実行時間の面でどうか。
• RQ3 高速で近似されたMAP解は、DPMMsにおけるMCMCサンプリングの有効な初期化として機能できるか。
• RQ4 非妥当なヒューリスティックの使用が、DPMMクラスタリングにおける探索効率および解の品質に与える影響は。
• RQ5 探索ベースの手法は、60,000ポイントのような大規模データセットに対して、高品質なクラスタリングを維持しながらどの程度スケーラブルに拡張できるか。

主な発見

• 提案手法は、Matlabで60,000ポイントのデータセットに対して15分未塔でMAPクラスタリングを達成し、MCMCおよび変分推論手法に比べて著しく高速である。
• 10,000ポイントのデータセットでは、探索手法が対数尤度3.2e6のクラスタリングを達成し、ギブスサンプリング（3.0e6）およびスプリットマージMCMCを上回った。
• 非妥当なスコア関数の使用により、標準的手法よりもはるかに高速に収束し、近最適解に到達する。
• 主な計算ボトルネックは、データサイズに二次的に依存する事前分布項p(c)の最適化であり、さらなる最適化の余地がある。
• 探索ベースの解はMCMCのための高品質な初期化を提供し、混合速度の向上とより効率的な事後分布サンプリングを可能にした。
• 共役指数型分布族の尤度を用いる場合、本手法は連続および離散データの両方に対して一般かつ有効である。