[論文レビュー] Optimal Bayesian estimation of Gaussian mixtures with growing number of components

Ilsang Ohn, Lizhen Lin|arXiv (Cornell University)|Jul 17, 2020

Bayesian Methods and Mixture Models参考文献 45被引用数 4

ひとこと要約

本稿は、サンプルサイズに依存する事前分布を用いて、成分数が増加するガウス有限混合モデルのベイズ推定フレームワークを構築する。これは、ワッサーシュタイン距離において最適な事後収縮率を達成する。成分推定における理論的一貫性を確立し、適応的成分選択を伴う有限混合モデルの代理としてディリクレ過程混合モデルを用いる実用的アプローチを提示する。

ABSTRACT

We study Bayesian estimation of finite mixture models in a general setup where the number of components is unknown and allowed to grow with the sample size. An assumption on growing number of components is a natural one as the degree of heterogeneity present in the sample can grow and new components can arise as sample size increases, allowing full flexibility in modeling the complexity of data. This however will lead to a high-dimensional model which poses great challenges for estimation. We novelly employ the idea of a sample size dependent prior in a Bayesian model and establish a number of important theoretical results. We first show that under mild conditions on the prior, the posterior distribution concentrates around the true mixing distribution at a near optimal rate with respect to the Wasserstein distance. Under a separation condition on the true mixing distribution, we further show that a better and adaptive convergence rate can be achieved, and the number of components can be consistently estimated. Furthermore, we derive optimal convergence rates for the higher-order mixture models where the number of components diverges arbitrarily fast. In addition, we suggest a simple recipe for using Dirichlet process (DP) mixture prior for estimating the finite mixture models and provide theoretical guarantees. In particular, we provide a novel solution for adopting the number of clusters in a DP mixture model as an estimate of the number of components in a finite mixture model. Simulation study and real data applications are carried out demonstrating the utilities of our method.

研究の動機と目的

• 成分数が未知であり、サンプルサイズとともに増加する有限混合モデルのベイズ推定におけるギャップを埋める。
• 高次元的かつ成分数が増加する設定において、ワッサーシュタイン距離における混合分布の事後収縮率を確立する。
• 真の混合分布に分離条件が成り立つ場合に、真の成分数の適応的かつ一貫した推定を達成する。
• 有限混合モデルにおける成分数推定に、ディリクレ過程混合事前分布を理論的根拠とともに用いる方法を提供する。
• 銀河および間欠泉の噴出データを用いたシミュレーションと実データ応用を通じて、本手法の実用的有効性を示す。

提案手法

• 有限混合モデルにおける成分数にサンプルサイズに依存する事前分布を導入し、成分数がサンプルサイズとともに増加することを許容する。
• 集中パラメータをサンプルサイズでスケーリングしたディリクレ過程混合（DPM）事前分布を用い、一貫性と適応性を確保する。
• 有限混合モデルにおける成分数の推定として、DPMモデルにおけるクラスタ数の事後分布を代理推定量として用いる。
• ワッサーシュタイン距離を用いて、事後分布が真の混合分布に収束する度合いを測定し、非漸近的理論的解析を可能にする。
• やや弱い正則性条件の下で事後収縮率を導出し、ミニマックス意味で近似的最適性を示す。
• 真の混合分布に分離条件が成り立つ場合に、成分選択の一貫性に関する理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 成分数がサンプルサイズとともに増加する場合に、有限ガウス混合モデルのベイズ推定が、ワッサーシュタイン距離において最適な事後収縮率を達成できるか？
• RQ2 成分数が増加するベイズ枠組みにおいて、どのような条件下で成分数が一貫して推定可能か？
• RQ3 ディリクレ過程混合事前分布を、有限混合モデルにおける成分数推定にどのように用いることができるか？
• RQ4 ハイパーパrameterの選択（例：ポアソン平均や集中パラメータ）が、成分数推定および密度推定における事後推論に与える影響は何か？
• RQ5 DPMモデルにおけるクラスタ数の事後分布が、有限混合モデルにおける真の成分数を信頼性高く推定できるか？

主な発見

• やや弱い事前分布の条件のもとで、事後分布は真の混合分布に向かってワッサーシュタイン距離において近似的最適なレートで収縮する。
• 真の混合分布に分離条件が成り立つ場合、事後分布はより速い適応的収束レートを達成し、成分数は一貫して推定される。
• 混合分布推定のミニマックス最適収束レートは、$ n^{-1/(4(k^{ullet}-k_0)+2)} $ であり、ここで $ k^{ullet} $ は真の成分数、$ k_0 $ は良好に分離された成分数を表す。
• 集中パラメータが小さいディリクレ過程混合モデルにおけるクラスタ数の事後分布は、真の成分数の周辺に集中し、有限混合モデル推定の代理としての有効性が裏付けられる。
• 銀河および間欠泉データに対するシミュレーション結果から、ハイパーパrameter（例：ポアソン平均や集中パラメータ）の選択が事後推論に顕著な影響を及ぼすが、本手法は依然として頑健で適応的であることが示された。
• 成分数が任意に速く発散する場合でさえ、本手法は最適な収束レートを達成しており、強力な理論的・実用的柔軟性を示している。