[論文レビュー] Simple approximate MAP Inference for Dirichlet processes

Yordan P. Raykov, Alexis Boukouvalas+1 more|arXiv (Cornell University)|Nov 4, 2014

Bayesian Methods and Mixture Models参考文献 11被引用数 4

ひとこと要約

この論文は、ディリクレ過程混合モデル（DPMs）の非退化で計算的に効率的なMAP推論アルゴリズムを提案する。中国飯店過程（CRP）を活用することで、ギブスサンプリングと同等のクラスタリング性能を達成しつつ、反復回数と計算負荷を大幅に削減する。小分散近似による退化を回避し、'豊かなるものに富が集まる'性質を保持するとともに、モデルの妥当性検証のための外挿尤度評価を可能にする。

ABSTRACT

The Dirichlet process mixture (DPM) is a ubiquitous, flexible Bayesian nonparametric statistical model. However, full probabilistic inference in this model is analytically intractable, so that computationally intensive techniques such as Gibb's sampling are required. As a result, DPM-based methods, which have considerable potential, are restricted to applications in which computational resources and time for inference is plentiful. For example, they would not be practical for digital signal processing on embedded hardware, where computational resources are at a serious premium. Here, we develop simplified yet statistically rigorous approximate maximum a-posteriori (MAP) inference algorithms for DPMs. This algorithm is as simple as K-means clustering, performs in experiments as well as Gibb's sampling, while requiring only a fraction of the computational effort. Unlike related small variance asymptotics, our algorithm is non-degenerate and so inherits the "rich get richer" property of the Dirichlet process. It also retains a non-degenerate closed-form likelihood which enables standard tools such as cross-validation to be used. This is a well-posed approximation to the MAP solution of the probabilistic DPM model.

研究の動機と目的

• ディリクル過程混合モデルにおける完全ベイズ推論の高い計算コストが、リソース制約のある環境での利用を制限する問題を解決すること。
• 小分散漸近の退化を回避するが、簡素化されつつも統計的に厳密な近似MAP推論アルゴリズムを開発すること。
• DPMの重要な確率的性質、たとえば'豊かなるものに富が集まる'効果や非退化尤度を維持し、妥当なモデル選択と交差検証を可能にすること。
• K-meansクラスタリングと同等の収束速度を達成しつつ、ベンチマークデータセットでギブスサンプリングと同等の精度を実現すること。

提案手法

• アルゴリズムは中国飯店過程（CRP）を用いてクラスタへのデータの分割をモデル化し、効率的かつ扱いやすいMAP推論を可能にする。
• MAP問題をクラスタ割り当てに関する離散最適化として定式化し、反復的なMCMCサンプリングの必要を回避する。
• 非退化な閉形式尤度を計算することで、交差検証などの標準的なモデル診断が可能になる。
• CRPの条件付き分布を活用して、各反復におけるデータポイントのクラスタ再割り当てを計算効率よく行い、計算オーバーヘッドを最小限に抑える。
• K-meansに類似した反復的更新をデータポイントに対して行うが、確率的で非退化な目的関数を用いる。
• 変分推論の因子分解仮定を避けるとともに、DPMの無限個の成分空間を切断しない。

実験結果

リサーチクエスチョン

• RQ1 DPMsに対して非退化で近似MAP推論アルゴリズムを開発可能か。その際、'豊かなるものに富が集まる'性質を保持できるか。
• RQ2 提案されたMAP-DPMアルゴリズムは、ギブスサンプリングやDP-meansと比較して、収束速度とクラスタリング精度でどのように異なるか。
• RQ3 アルゴリズムは外挿尤度評価をサポートでき、モデル選択や検証に利用可能か。
• RQ4 アルゴリズムは、退化した尤度近似に依存せずに、元のDPMモデルの統計的整合性を維持できるか。

主な発見

• UCIデータセットでは、MAP-DPMアルゴリズムは5〜17反復で収束したのに対し、ギブスサンプリングは939〜10,000反復以上を要したが、NMIスコアは同等であった。
• Wineデータセットでは、MAP-DPMのNMIスコアがギブスサンプリングの全サンプル内で達成された最高のNMIスコアと一致しており、高いクラスタリング精度を示した。
• Wineデータセットでは、MAP-DPMはたった11反復で、ギブスサンプリングが同程度の性能に到達するまでに2,365反復を要した。
• DP-meansとは異なり、点質量尤度を用いるのではなく、MAP-DPMは非退化尤度を保持しており、交差検証やモデル診断が可能である。
• MAP-DPMは、DP-meansと同程度の1反復あたりの計算複雑性を有しながらも、収束速度と統計的整合性の両面で優れている。
• 高次元スパース性に対しても頑健であることがSoybeanデータセットで示された。ギブスサンプリングは10,000反復経過しても収束しなかった。