[論文レビュー] Parsimonious Hierarchical Modeling Using Repulsive Distributions

José J. Quinlan, Fernando A. Quintana+1 more|arXiv (Cornell University)|Jan 16, 2017

Bayesian Methods and Mixture Models参考文献 8被引用数 8

ひとこと要約

この論文は、ディリクレ過程混合モデルにおける重複クラスタの削減を目的として、反発分布を用いた簡潔な階層的モデリング手法を提案する。d次元の密度関数の族を導入し、成分間の滑らかな反発を実現することで、重複のない明確に分離された混合モデルを促進する。同時に柔軟性とモデル適合性を維持する。理論的側面では、ギブス測度および点過程と関連づけられる。

ABSTRACT

Employing nonparametric methods for density estimation has become routine in Bayesian statistical practice. Models based on discrete nonparametric priors such as Dirichlet Process Mixture (DPM) models are very attractive choices due to their flexibility and tractability. However, a common problem in fitting DPMs or other discrete models to data is that they tend to produce a large number of (sometimes) redundant clusters. In this work we propose a method that produces parsimonious mixture models (i.e. mixtures that discourage the creation of redundant clusters), without sacrificing flexibility or model fit. This method is based on the idea of repulsion, that is, that any two mixture components are encouraged to be well separated. We propose a family of d-dimensional probability densities whose coordinates tend to repel each other in a smooth way. The induced probability measure has a close relation with Gibbs measures, graph theory and point processes. We investigate its global properties and explore its use in the context of mixture models for density estimation. Computational techniques are detailed and we illustrate its usefulness with some well-known data sets and a small simulation study.

研究の動機と目的

• ディリクレ過程混合モデルが過剰に冗長なクラスタを生成するという一般的な問題に対処すること。
• クラスタの重複を抑えるが、柔軟性を保つ標準的な非パラメトリック事前分布の代替となる、柔軟かつ簡潔な手法の開発。
• 原理的な反発機構により、明確に分離された混合成分を促進しつつ、モデルの取り扱いやすさと適合性を維持すること。
• 提案された反発分布とギブス測度、グラフ理論、点過程との理論的関連を確立すること。
• 実データ応用およびシミュレーション研究を通じて、本手法の実用的有効性を示すこと。

提案手法

• 座標間の滑らかでグローバルな反発を促進するd次元確率密度関数の族を提案し、成分の重なりを防ぐ。
• ギブス測度およびグラフ理論との関連を活用し、成分の位置が互いに反発する確率過程を定式化する。
• パrameter空間における分離を保証する反発カーネルを用いて、混合成分の事前分布を構築する。
• 計算上の取り扱いやすさを保ちつつ、密度推定を目的としたベイズ非パラメトリック混合モデルに反発事前分布を統合する。
• MCMCに基づく推論手法を用い、事後分布からのサンプリングを実施し、事後計算に反発構造を統合する。
• ベンチマークデータセットおよびシミュレーション研究に本モデルを適用し、性能と簡潔さを評価する。

実験結果

リサーチクエスチョン

• RQ1 柔軟性を損なわず、冗長クラスタの数を削減できるベイズ非パラメトリック混合モデルを設計できるか？
• RQ2 確率的モデルにおいて、混合成分間の滑らかでグローバルな反発機構をどのように形式化できるか？
• RQ3 座標間に反発を引き起こすd次元分布の理論的性質は何か？
• RQ4 提案された反発事前分布は、標準的なディリクレ過程事前分布と比較して、クラスタ数とモデル適合性の点でどのように異なるか？
• RQ5 本手法は実世界のデータに実用的に実装・応用可能であり、簡潔さが向上するか？

主な発見

• 提案された反発分布の族は、標準的なディリクレ過程事前分布と比較して、混合モデルにおける冗長クラスタの数を効果的に削減する。
• ベンチマークデータセットにおいても強力なモデル適合性を維持しており、簡潔さが予測精度の損なわれることなく実現されていることが示された。
• 理論的分析により、反発分布がギブス測度および点過程と密接に関連していることが確認され、確立された確率的基盤が得られた。
• シミュレーション研究および実データ応用において、安定的かつ解釈可能なクラスタリング行動を示した。
• MCMCサンプリングを含む計算技術は、本モデルに対して効果的かつスケーラブルであり、実用的利用が可能である。
• 実験的結果から、推定された成分数が標準DPMモデルと比較して一貫して低く抑えられ、密度推定性能は同等または向上していることが明らかになった。