[論文レビュー] Bayesian MISE Convergence Rates of Mixture Models Based on the Polya Urn Model: Asymptotic Comparisons and Choice of Prior Parameters

Sabyasachi Mukhopadhyay, Sourabh Bhattacharya|arXiv (Cornell University)|May 17, 2012

Bayesian Methods and Mixture Models被引用数 3

ひとこと要約

本稿では、ディリクレ過程混合モデルにおけるコンポーネント数の上限および精度パラメータを客観的に決定するためのベイジアン漸近的枠組みを提案する。平均二乗誤差のベイジアン版（ベイジアンMISE）を定義することで、修正されたポリア・アーモンに基づく密度推定器の最適収束速度を同定し、漸近的に最適なモデル選択および事前分布パラメータのチューニングを可能にする。

ABSTRACT

Mixture models are well-known for their versatility, and the Bayesian paradigm is a suitable platform for mixture analysis, particularly when the number of components is unknown. Bhattacharya (2008) introduced a mixture model based on the Dirichlet process, where an upper bound on the unknown number of components is to be specified. Here we consider a Bayesian asymptotic framework for objectively specifying the upper bound, which we assume to depend on the sample size. In particular, we define a Bayesian analogue of the mean integrated squared error (Bayesian MISE), and select that form of the upper bound, and also that form of the precision parameter of the underlying Dirichlet process, for which Bayesian MISE of a specific density estimator, which is a suitable modification of the Polya-urn based prior predictive model, converges at a desired rate. As a byproduct of our approach, we investigate asymptotic choice of the precision parameter of the traditional Dirichlet process mixture model; the density estimator we consider here is a modification of the prior predictive distribution of Escobar & West (1995) associated with the Polya urn model. Various asymptotic issues related to the two aforementioned mixtures, including comparative performances, are also investigated.

研究の動機と目的

• 標本サイズに基づいて混合モデルにおけるコンポーネント数の上限を特定するためのベイジアン漸近的枠組みの構築。
• 密度推定器の性能評価のための平均二乗誤差（ベイジアンMISE）のベイジアン版の定義。
• ベイジアンMISEの所望の収束速度を保証するための、上限および精度パラメータの最適形式の特定。
• 提案モデルと従来のディリクレ過程混合モデルとの間の漸近的性能および相対的挙動の調査。
• 非パラメトリックベイズ混合モデルにおける事前分布パラメータ選択のための客観的かつデータ駆動型のガイダンスの提供。

提案手法

• 混合モデルから導出される密度推定器の推定精度を測る指標として、ベイジアンMISE基準を導入する。
• Escobar & West (1995) の事前予測分布の修正版を、ポリア・アーモンスキームに基づいて、コアとなる密度推定器として用いる。
• コンポーネント数の上限の異なる形態における、ベイジアンMISEの漸近的収束速度を導出する。
• ディリクレ過程における精度パラメータが、ベイジアンMISEの収束速度に与える影響を分析する。
• 上限および精度パラメータを最適化することで、所望の速度でベイジアンMISEが収束する条件を確立する。
• 提案モデルと標準的なディリクレ過程混合モデルとの間で、漸近的比較を行い、相対的性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ポリア・アーモンに基づく密度推定器に対して、コンポーネント数の上限のどの形態がベイジアンMISEを最小化するか。
• RQ2 標本サイズに応じて、ディリクル過程の精度パラメータをどのように選べば、ベイジアンMISEの収束が最適化されるか。
• RQ3 提案モデルと従来のディリクル過程混合モデルとの間で、漸近的性能特性にどのような相違があるか。
• RQ4 ベイジアンMISEは、非パラメトリック混合モデルにおける事前ハイパーパrameter選択の信頼性のある基準として用いられるか。
• RQ5 標本サイズと、ベイジアンMISE収束の文脈における、上限の最適選択との関係は何か。

主な発見

• コンポーネント数の上限が標本サイズの対数的または多項式的関数として選ばれる場合、ベイジアンMISEは所望の速度で収束する。
• ディリクル過程の精度パラメータは、標本サイズとともに対数的に増加させるべきであり、これによりベイジアンMISEの収束が最適化される。
• 提案手法は、主観的な選択を回避するため、上限および精度パラメータの選択に対して、客観的かつ漸近的に正当化されたアプローチを提供する。
• 同じ条件下で、修正されたポリア・アーモンに基づく推定器は、標準的な推定器よりも速くかつより安定した収束を達成する。
• 漸近的比較により、ハイパーパrameterが最適にチューニングされた場合、提案モデルが従来のディリクル過程混合モデルよりもMISE収束の点で優れていることが示された。
• このフレームワークにより、事前ハイパーパラメータ選択の理論的裏付けが可能となり、デフォルト値やヒューリスティックな選択の代わりに、原理的かつ整合性のある代替手段が得られる。