[論文レビュー] Hyperprior on symmetric Dirichlet distribution

Jun Lu|arXiv (Cornell University)|Aug 28, 2017

Bayesian Methods and Mixture Models参考文献 1被引用数 5

ひとこと要約

本稿では、有限ベイジアンガウス混合モデルにおける対称ディリクレ分布の濃度パラメータ α に曖昧なガンマハイパーパriorを提案し、クラスタ重みに基づいて α を更新するための適応的反復サンプリング（ARS）を可能にする。主な貢献は、過適合度（K − K₀）が大きいほど事後分布における α が小さくなり、成分重みが単体の境界に収束することで、余分な成分の空票化が促進されることである。

ABSTRACT

In this article we introduce how to put vague hyperprior on Dirichlet distribution, and we update the parameter of it by adaptive rejection sampling (ARS). Finally we analyze this hyperprior in an over-fitted mixture model by some synthetic experiments.

研究の動機と目的

• 過適合混合モデルにおける濃度パラメータ α の適切な選択という課題に取り組む。ここで α は成分重みのスhrinkageを制御する。
• データ駆動の過適合度に応じて適応する、原理的かつ非情報的ハイパーパriorを構築する。
• 条件付き事後分布の対数凸性を証明することで、適応的反復サンプリング（ARS）による α の効率的後退計算を可能にする。
• 過適合設定における後退推論の安定化と成分の統合促進という観点から、ハイパーパriorの性能を評価する。

提案手法

• α に共役なガンマハイパーパriorを導入：p(α|a,b) ∝ α^(a−1) e^(-bα) で、a ≥ 1 とすることで対数凸性を保証する。
• 条件付き事後分布 p(α|π,a,b) が α^(a−1) e^(-bα) × (π₁…π_K)^(α−1) × Γ(Kα)/[Γ(α)]^K に比例することを導出する。
• x > 0 に対して関数 G(x) = Γ(Kx)/[Γ(x)]^K が厳密に対数凸であることを証明し、ARSサンプリングを可能にする。
• a ≥ 1 のとき、全条件付き分布 p(α|π,a,b) が対数凸であることを示し、効率的かつ独立的なサンプリングに適したARSの正当性を裏付ける。
• 成分重み π を周辺化した後、α をARSで更新するコラプスドギブスサンプラーを実装する。
• 成分パラメータ (μ, Σ) に正規逆ウィシャート（NIW）事前分布を用い、共役更新により成分割り当て確率を計算する。

実験結果

リサーチクエスチョン

• RQ1 モデルの過適合度に応じて適応的に反応する非情報的ハイパーパriorを、ディリクレ濃度パラメータ α にどのように構築できるか？
• RQ2 条件付き事後分布 p(α|π,a,b) は対数凸性を保ち続けるか？ これにより、適応的反復サンプリング（ARS）による効率的サンプリングが可能か？
• RQ3 合成混合モデルにおいて、過適合度（K − K₀）が増加するにつれて α の事後平均はどのように変化するか？
• RQ4 提案されたハイパーパriorは、余分な成分の重みを効果的にスhrinkageし、過適合混合モデルにおける成分の統合を促進できるか？
• RQ5 他の α 更新手法と比較して、ハイパーパriorはMCMCの混合度と有効サンプルサイズ（ESS）にどのような影響を及えるか？

主な発見

• 過適合度（K − K₀）が増加するにつれて α の事後平均が減少する。シミュレーション1では、K = 3 で α ≈ 1.84、K = 4 で 1.43、K = 5 で 1.01、K = 6 で 0.618 となる。
• 過適合状況（K > K₀）では、余分な成分が効果的に空票化される。平均的な余分成分重み（π₋）は、K = 3 の 0.00 から K = 6 の 0.12 に増加する。
• 正規化相互情報量（NMI）は、K = 3 の 0.931 から K = 6 の 0.846 に低下し、過適合に伴いクラスタリング精度が低下しているが、ハイパーパriorのおかげで推論が安定化している。
• 情報量の変動（VI）は過適合に伴い増加する（K = 3 で 0.203 から K = 6 で 0.564 に）。これは、より多くの成分がクラスタリング精度を低下させることを確認しているが、ハイパーパriorが不安定性を緩和している。
• 占有クラスタ数の平均（K̄）は K が増加するにつれて増加し、K = 3 の 3.0 から K = 6 の 4.703 にまで上昇する。これはモデルが全 K を検出・利用していることを示しているが、ハイパーパriorが非情報的成分の抑制に寄与している。
• 条件付き事後分布の対数凸性が証明されたことにより、α のARSサンプリングが可能となり、周辺化やメトロポリス・ハスティングス法と比較して計算的に効率的な代替手法が得られた。