[论文解读] Exact slice sampler for Hierarchical Dirichlet Processes

Arash A. Amini, Marina Silva Paez+2 more|arXiv (Cornell University)|Mar 21, 2019

Bayesian Methods and Mixture Models参考文献 5被引用 5

一句话总结

本文提出了首个针对层次狄利克雷过程（HDP）的精确切片采样方法，克服了从无限维层次测度中采样的挑战。通过使用贝叶斯变量扩展实现后验联合分布的完全分解，该方法实现了快速混合、原子与权重的自然截断以及高效的并行化——在合成数据和真实世界主题建模实验中均表现出快速收敛。

ABSTRACT

We propose an exact slice sampler for Hierarchical Dirichlet process (HDP) and its associated mixture models (Teh et al., 2006). Although there are existing MCMC algorithms for sampling from the HDP, a slice sampler has been missing from the literature. Slice sampling is well-known for its desirable properties including its fast mixing and its natural potential for parallelization. On the other hand, the hierarchical nature of HDPs poses challenges to adopting a full-fledged slice sampler that automatically truncates all the infinite measures involved without ad-hoc modifications. In this work, we adopt the powerful idea of Bayesian variable augmentation to address this challenge. By introducing new latent variables, we obtain a full factorization of the joint distribution that is suitable for slice sampling. Our algorithm has several appealing features such as (1) fast mixing; (2) remaining exact while allowing natural truncation of the underlying infinite-dimensional measures, as in (Kalli et al., 2011), resulting in updates of only a finite number of necessary atoms and weights in each iteration; and (3) being naturally suited to parallel implementations. The underlying principle for joint factorization of the full likelihood is simple and can be applied to many other settings, such as designing sampling algorithms for general dependent Dirichlet process (DDP) models.

研究动机与目标

• 开发一种针对层次狄利克雷过程（HDP）的完全精确切片采样方法，该方法在以往文献中尚属空白。
• 解决从HDP中无限维测度采样的挑战，避免人为截断或近似。
• 通过利用贝叶斯变量扩展，实现HDP混合模型中高效、可并行化的MCMC推断。
• 提供一个通用且易于访问的框架，用于依赖狄利克雷过程模型中的切片采样。

提出的方法

• 通过贝叶斯变量扩展引入隐变量，实现HDP中后验联合分布的完全分解。
• 推导出一种联合密度分解方式，简化后验更新过程，并支持精确切片采样。
• 使用切片采样联合更新隐变量与截断水平，确保每次迭代仅更新必要的原子与权重。
• 将该采样器应用于具有高斯与多项分布似然的HDP混合模型，推导出原子与聚类分配的共轭后验更新。
• 通过自然截断实现算法实现，每轮迭代保持精确性的同时计算成本有限。
• 利用分解后的后验分布，实现跨组与聚类的高效、可并行更新。

实验结果

研究问题

• RQ1 尽管具有无限维层次结构，是否能够为层次狄利克雷过程构建一个精确的切片采样器？
• RQ2 HDP的层次结构如何与切片采样的要求相协调，特别是关于自动截断的问题？
• RQ3 贝叶斯变量扩展在实现HDP切片采样中后验完全分解的过程中起到何种作用？
• RQ4 与现有的吉布斯采样和分裂-合并MCMC方法相比，所提出的采样器在混合速度与收敛性方面表现如何？
• RQ5 所推导的联合分解是否可推广至其他依赖狄利克雷过程模型？

主要发现

• 所提出的切片采样器实现了快速混合，在合成数据上仅需10–20轮迭代，标准化互信息（NMI）即可接近最优水平。
• 在包含J=894篇文档的真实世界论文标题数据集上，经过100轮迭代后，NMI ≈ 0.35–0.40，表明能有效恢复真实主题标签。
• 该算法通过仅在每次迭代中更新有限数量的原子与权重，自然地截断无限测度，同时保持精确性。
• 联合后验分解支持直观且计算高效的更新，对高斯与多项分布似然均可推导出共轭后验分布。
• 该方法天然支持并行化，不同组与聚类的更新可独立计算。
• 该方法可推广至HDP混合模型之外，通过替换混合似然，可实现其他模型中的高效采样。