[论文解读] Hyperprior on symmetric Dirichlet distribution

Jun Lu|arXiv (Cornell University)|Aug 28, 2017

Bayesian Methods and Mixture Models参考文献 1被引用 5

一句话总结

本文在有限贝叶斯高斯混合模型中对对称狄利克雷分布的浓度参数 α 提出了一种模糊的伽马超先验，使自适应拒绝采样（ARS）能够基于聚类权重更新 α。关键贡献在于，当过拟合程度（K − K₀）较大时，后验 α 变小，从而将分量权重收缩至单纯形边界，促进冗余分量的清空。

ABSTRACT

In this article we introduce how to put vague hyperprior on Dirichlet distribution, and we update the parameter of it by adaptive rejection sampling (ARS). Finally we analyze this hyperprior in an over-fitted mixture model by some synthetic experiments.

研究动机与目标

• 为解决在过拟合混合模型中选择合适浓度参数 α 的挑战，其中 α 控制分量权重的收缩。
• 开发一种基于数据驱动过拟合水平自适应的、无信息的 α 超先验。
• 通过证明条件后验的对数凹性，实现通过自适应拒绝采样（ARS）高效计算 α 的后验分布。
• 评估该超先验在稳定后验推断和促进过拟合设置下分量合并方面的性能。

提出的方法

• 引入 α 的共轭伽马超先验：p(α|a,b) ∝ α^(a−1) e^(-bα)，其中 a ≥ 1 以确保对数凹性。
• 推导条件后验分布 p(α|π,a,b) 与 α^(a−1) e^(-bα) × (π₁…π_K)^(α−1) × Γ(Kα)/[Γ(α)]^K 成正比。
• 证明函数 G(x) = Γ(Kx)/[Γ(x)]^K 在 x > 0 时严格对数凹，从而支持 ARS 采样。
• 证明当 a ≥ 1 时，全条件后验 p(α|π,a,b) 为对数凹，从而为高效、独立的 ARS 采样提供理论依据。
• 实现一种坍缩吉布斯采样，其中在对分量权重 π 进行边际化后，通过 ARS 更新 α。
• 对分量参数 (μ, Σ) 使用正态-逆维希特（NIW）先验，并通过共轭更新计算分量分配概率。

实验结果

研究问题

• RQ1 如何构建一个非信息性的 α 超先验，使其能自适应响应模型的过拟合？
• RQ2 条件后验 p(α|π,a,b) 是否保持对数凹性，从而支持通过自适应拒绝采样（ARS）实现高效采样？
• RQ3 在合成混合模型中，随着过拟合程度（K − K₀）的增加，α 的后验均值如何变化？
• RQ4 所提出的超先验是否能有效收缩冗余分量的权重，并促进过拟合混合模型中多余分量的合并？
• RQ5 与替代的 α 更新方案相比，该超先验对 MCMC 混合效率和有效样本量（ESS）有何影响？

主要发现

• 随着过拟合程度（K − K₀）的增加，α 的后验均值减小，在 Sim 1 中，K = 3 时 α ≈ 1.84，K = 4 时为 1.43，K = 5 时为 1.01，K = 6 时为 0.618。
• 在过拟合设置下（K > K₀），模型成功清空了多余分量，表现为多余权重的平均值（π₋）从 K = 3 时的 0.00 增加到 K = 6 时的 0.12。
• 标准化互信息（NMI）从 K = 3 时的 0.931 降至 K = 6 时的 0.846，表明过拟合导致聚类精度下降，但该超先验有助于稳定推断。
• 变差信息（VI）随过拟合程度增加而上升（K = 3 时为 0.203，K = 6 时为 0.564），证实更多分量导致聚类准确性降低，但该超先验缓解了不稳定性。
• 占据聚类的平均数量（K̄）随 K 增加而上升，从 K = 3 时的 3.0 增至 K = 6 时的 4.703，表明模型能检测并利用全部 K 个分量，但该超先验有助于抑制非信息分量。
• 由于条件后验的对数凹性已证明，该超先验使 α 的 ARS 采样成为可能，为边际化或梅特罗波利斯-黑斯廷斯方法提供了计算高效的替代方案。