[論文レビュー] Gibbs Sampling for (Coupled) Infinite Mixture Models in the Stick Breaking Representation

Ian R. Porteous, Alexander Ihler+2 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Methods and Mixture Models参考文献 9被引用数 6

ひとこと要約

本稿では、stick-breaking表現を用いた無限混合モデルに対する強化されたギブスサンプリングアルゴリズムを提案し、単体および結合されたモデルにおけるラベルの混合性およびクラスタ対応性を向上させている。時間的またはデータストリームに跨るクラスタラベルの再割り当てを可能にする補助的移動を導入することで、より良い混合性と一貫性のあるクラスタリングが達成され、特に嵐の軌道モデリングにおいて、ラベル安定性と対応精度が向上したことが示された。

ABSTRACT

Nonparametric Bayesian approaches to clustering, information retrieval, language modeling and object recognition have recently shown great promise as a new paradigm for unsupervised data analysis. Most contributions have focused on the Dirichlet process mixture models or extensions thereof for which efficient Gibbs samplers exist. In this paper we explore Gibbs samplers for infinite complexity mixture models in the stick breaking representation. The advantage of this representation is improved modeling flexibility. For instance, one can design the prior distribution over cluster sizes or couple multiple infinite mixture models (e.g. over time) at the level of their parameters (i.e. the dependent Dirichlet process model). However, Gibbs samplers for infinite mixture models (as recently introduced in the statistics literature) seem to mix poorly over cluster labels. Among others issues, this can have the adverse effect that labels for the same cluster in coupled mixture models are mixed up. We introduce additional moves in these samplers to improve mixing over cluster labels and to bring clusters into correspondence. An application to modeling of storm trajectories is used to illustrate these ideas.

研究の動機と目的

• 無限混合モデルのギブスサンプラーにおいて、stick-breaking表現を用いる際のラベル混合性の悪さを是正すること。
• 時間的またはデータストリームに跨るクラスタパラメータの一致を可能にすることで、複数の無限混合モデルの効果的な結合を実現すること。
• 結合モデルにおけるクラスタ間のラベル対応性を向上させ、性能を低下させる誤対応を低減すること。
• 計算上の tractability を損なわずにラベル混合性を向上させる効率的なサンプリング移動を開発すること。
• 実世界のデータ、特に嵐の軌道のような時系列的ダイナミクスのモデリングにおいて、本手法の有効性を示すこと。

提案手法

• ラベル混合性を向上させるために、ラベルを再サンプリングする補助的移動をギブスサンプリングに導入する。
• 無限混合モデルの表現にstick-breakingプロセスを用い、クラスタサイズおよび依存関係に対する柔軟な事前分布の指定を可能にする。
• 濃度および基本測度のレベルで複数の無限混合モデルを従属ディリクレ過程の枠組みを用いて結合する。
• 時間的ポイント間の事後類似度に基づいて再重み付けまたは再割り当てを行うことで、ラベル入れ替えの補正を実施する。
• クラスタ固有のパラメータを統合するコラプセッドギブスサンプラーを採用し、stick-breaking重みを通じて条件付き依存関係を維持する。
• 複数のデータストリームに跨るクラスタパラメータに共同事前分布を導入し、時系列的または構造的整合性を強制する。

実験結果

リサーチクエスチョン

• RQ1 stick-breaking表現を用いた無限混合モデルのギブスサンプリングは、どのようにしてラベル混合性の向上を図ることができるか？
• RQ2 時間的または複数のデータソースに跨る結合された無限混合モデルにおいて、クラスタ識別子を効果的に一致させるためのサンプリング移動とは何か？
• RQ3 強化されたラベル混合性は、ラベル入れ替えのアーティファクトを低減させ、非パrametricクラスタリングの解釈可能性を向上させ得るか？
• RQ4 標準的なギブスサンプラーと比較して、本手法は収束性およびクラスタ対応性の観点でどのように異なるか？
• RQ5 本手法は、嵐の軌道のような時系列的または時間発展するデータのモデリングにおいて、どの程度向上をもたらすか？

主な発見

• 提案されたサンプリング移動は、ラベル混合性を顕著に向上させ、ラベル入れ替えの問題を軽減し、繰り返し間でのラベル安定性を向上させた。
• 本手法は、結合された無限混合モデル間でクラスタを効果的に一致させ、時間的経過に伴うより一貫性があり解釈可能なクラスタ割り当てを実現した。
• 嵐の軌道応用において、隣接する時間ステップ間のクラスタ間対応性が向上し、より一貫性があり意味のあるクラスタ進化が得られた。
• 標準的なギブスサンプラーと比較して、強化されたサンプラーは収束が速く、クラスタ割り当て推定の分散も低減した。
• stick-breaking表現により、クラスタサイズ分布の柔軟なモデリングが可能となり、共有の基本測度および従属濃度パラメータを介した効果的な結合が実現された。
• 実験的結果から、本手法は計算効率を維持しつつ、ラベル対応性および混合性能を顕著に向上させたことが示された。