[論文レビュー] Repulsive Mixtures

Francesca Petralia, Vinayak Rao+1 more|arXiv (Cornell University)|Apr 24, 2012

Bayesian Methods and Mixture Models参考文献 11被引用数 9

ひとこと要約

本稿では、密度推定およびクラスタリングにおける冗長性を低減し、クラスタの分離を向上させるために、反発的事前分布を用いて成分を生成する反発的混合モデルを提案する。理論的事前分布によって類似した成分の生成を妨げるとともに、カスタムMCMCアルゴリズムを用いることで、標準的なベイジアン混合モデルに比べて、より少ない数の、より明確に分離され、解釈性の高いクラスタが得られる。

ABSTRACT

Discrete mixture models are routinely used for density estimation and clustering. While conducting inferences on the cluster-specific parameters, current frequentist and Bayesian methods often encounter problems when clusters are placed too close together to be scientifically meaningful. Current Bayesian practice generates component-specific parameters independently from a common prior, which tends to favor similar components and often leads to substantial probability assigned to redundant components that are not needed to fit the data. As an alternative, we propose to generate components from a repulsive process, which leads to fewer, better separated and more interpretable clusters. We characterize this repulsive prior theoretically and propose a Markov chain Monte Carlo sampling algorithm for posterior computation. The methods are illustrated using simulated data as well as real datasets.

研究の動機と目的

• ベイジアン有限混合モデルにおける冗長的で類似しすぎる成分の問題に対処すること。
• 成分パラメータ間の空間的分離を強制することで、クラスタの解釈性を向上させること。
• 成分の重なりを抑える理論的根拠を持つ事前分布を構築すること。
• 反発的事前分布下での事後分布推論に実用的なMCMCアルゴリズムを開発すること。
• 本手法の有効性をシミュレートデータおよび実データの両方で示すこと。

提案手法

• 成分パラメータが近接を避ける傾向を持つ反発的事前分布を提案する。
• 成分が互いに非常に近接するような構成に対してペナルティを与える理論的事前分布を定義する。
• 最小分離を強制する成分パラメータの共同事前分布を導出する。
• 反発的事前分布に特化したメトロポリス・ハスティングスMCMCアルゴリズムを構築する。
• 反発構造を尊重する成分固有の更新を用いたギブスサンプラーを用いる。
• 成分パラメータが反発を伴って抽出されるように、条件付き密度表現を採用する。

実験結果

リサーチクエスチョン

• RQ1 反発的事前分布は、ベイジアン混合モデルにおける冗長な成分の数を減少させることができるか？
• RQ2 実際の応用において、反発的事前分布はどのようにクラスタの分離性と解釈性を向上させるか？
• RQ3 反発的事前分布の成分生成挙動に理論的根拠はあるか？
• RQ4 反発的事前分布下での事後分布からのサンプリングにおいて、MCMCアルゴリズムの性能はいかがなものか？
• RQ5 本手法は、シミュレートデータおよび実データの両方において、標準的な共役事前分布を上回る性能を示すか？

主な発見

• 反発的事前分布は、標準的な共役事前分布と比較して、冗長な成分に割り当てられる事後確率を顕著に低減する。
• クラスタの分離が著しく向上し、成分が均等に分布し、併合する可能性が低くなる。
• 反発によって生じる複雑な依存構造にもかかわらず、MCMCアルゴリズムは事後分布を効果的に探索できた。
• シミュレートデータでは、本手法が標準的手法よりも真の成分数をより正確に回復する。
• 実データ応用では、より少ない成分数で、明確で意味のあるクラスタ構造が得られる。
• 理論的分析により、反発的事前分布が、分離が強制された成分構成の上で well-defined な確率測度を誘導することが確認された。