[論文レビュー] Dynamic mixtures of finite mixtures and telescoping sampling

Sylvia Frühwirth‐Schnatter, Gertraud Malsiner‐Walli+1 more|arXiv (Cornell University)|May 20, 2020

Bayesian Methods and Mixture Models参考文献 36被引用数 4

ひとこと要約

本稿では、任意の成分分布を許容する効率的なベイズ推論を可能にする、新たなテレスコピングサンプラーを備えた動的有限混合モデル（MFMs）を提案する。ディリクレ濃度パラメータを成分数に依存させるとともに、Kに対する柔軟な事前分布を導入することで、計算的に実行可能な推論が可能となり、MFMsとベイズ非パラメトリック混合モデルの間の関係が明確にされる。

ABSTRACT

Within a Bayesian framework, a comprehensive investigation of the model class of mixtures of finite mixtures (MFMs) where a prior on the number of components is specified is performed. This model class has applications in model-based clustering as well as for semi-parametric density approximation, but requires suitable prior specifications and inference methods to exploit its full potential. We contribute to the Bayesian analysis of MFMs by (1) considering static and dynamic MFMs where the Dirichlet parameter of the component weights either is fixed or depends on the number of components, (2) proposing a flexible prior distribution class for the number of components $K$, (3) characterizing the implicit prior on the number of clusters $K_+$ as well as partitions by deriving computationally feasible formulas, (4) linking MFMs to Bayesian non-parametric mixtures, and (5) finally proposing a novel sampling scheme for MFMs called the telescoping sampler which allows Bayesian inference for mixtures with arbitrary component distributions. The telescoping sampler explicitly samples the number of components, but otherwise requires only the usual MCMC steps for estimating a finite mixture model. The ease of its application using different component distributions is demonstrated on real data sets.

研究の動機と目的

• モデルベースクラスタリングおよび半パラメトリック密度推定を両方サポートする、柔軟な有限混合モデル（MFMs）のベイズ枠組みを構築すること。
• 特にクラスタリング行動に適切な影響を与えるために、MFMsにおける成分数Kの事前分布の設定という課題に取り組むこと。
• MFMsとベイズ非パラメトリック混合モデルを結びつけること。具体的には、クラスタ数K+およびパーティション構造に対する暗黙の事前分布を特定すること。
• Kを明示的にサンプリングしつつ、他のパラメータの推定に標準的なMCMC手順を維持する、スケーラブルで汎用性の高いMCMCサンプリング手法（テレスコピングサンプラー）を設計すること。

提案手法

• 成分重みのディリクレ濃度パラメータが成分数Kに依存する動的MFMモデルを提案する。
• 成分数Kのための柔軟な事前分布クラスを導入し、クラスタ数に関する事前信念の制御を可能にする。
• MFMs事前分布によって誘導されるクラスタ数K+およびパーティション構造の暗黙の事前分布に対する計算的に実行可能な式を導出する。
• Kが増加する極限において、MFMsとベイズ非パラメトリック混合モデルとの理論的関係を確立する。
• Kを明示的にサンプリングし、他のパrameterの推定に標準的な有限混合MCMC更新を統合できる、新規のMCMCアルゴリズム（テレスコピングサンプラー）を開発する。
• 任意の成分分布を伴うモデルにテレスコピングサンプラーを適用し、実データ上での一般性およびスケーラビリティを実証する。

実験結果

リサーチクエスチョン

• RQ1 有限混合モデルにおけるディリクレ濃度パラメータを、成分数に適応させることで、クラスタリング性能を向上させることは可能か？
• RQ2 MFMsにおけるKの事前分布が誘導する、クラスタ数K+およびパーティション構造の暗黙の事前分布は何か？
• RQ3 MFMsを、ベイズ非パラメトリック混合モデルと体系的に結びつけるにはどうすればよいか？
• RQ4 任意の成分分布をサポートし、Kの推論を効率的に行える汎用MCMCサンプラーを設計することは可能か？
• RQ5 提案されたテレスコピングサンプラーは、実世界のクラスタリングおよび密度推定タスクにおいて、標準的なMCMC手法と比較してどの程度の実効性を示すか？

主な発見

• 提案された動的MFMモデルにより、ディリクレ濃度パラメータがKに依存するようになり、より適応的で現実的なクラスタリング行動が実現される。
• K+およびパーティション構造の暗黙の事前分布に対する導出式のおかげで、MFMsにおけるクラスタリング事前信念の精密な制御と解釈が可能になる。
• MFMsとベイズ非パラメトリック混合モデルとの間の関係が形式的に確立され、MFMsが漸近的性質が明確に特徴づけられた有限近似として機能できることを示した。
• テレスコピングサンプラーにより、任意の成分分布を伴うMFMの効率的ベイズ推論が可能となり、Kを明示的にサンプリングしつつ、他のパrameterの推定に標準的なMCMCステップを維持できる。
• 実データを用いた実験結果から、テレスコピングサンプラーの実用的有用性と多様な成分分布およびクラスタリングタスクにおけるスケーラビリティが示された。