[论文解读] Adaptive Convergence Rates of a Dirichlet Process Mixture of Multivariate Normals

Surya T. Tokdar|arXiv (Cornell University)|Nov 17, 2011

Bayesian Methods and Mixture Models参考文献 17被引用 5

一句话总结

该论文通过基于杆棒先验的新型筛法构造，建立了多变量正态分布的狄利克雷过程混合模型在任意维度下的自适应后验收敛速率。该方法在无需调参的情况下，对无限光滑密度和紧支集二阶可微密度均实现了极小极大最优收敛速率，展示了贝叶斯非参数密度估计中的光滑性自适应性。

ABSTRACT

It is shown that a simple Dirichlet process mixture of multivariate normals offers Bayesian density estimation with adaptive posterior convergence rates. Toward this, a novel sieve for non-parametric mixture densities is explored, and its rate adaptability to various smoothness classes of densities in arbitrary dimension is demonstrated. This sieve construction is expected to offer a substantial technical advancement in studying Bayesian non-parametric mixture models based on stick-breaking priors.

研究动机与目标

• 解决狄利克雷过程混合模型在多变量设置下（超出单变量情形）后验收敛速率缺乏理论保证的问题。
• 开发一种确保维度可扩展性并能适应不同光滑性类密度的筛法构造。
• 证明简单的多变量正态分布DP混合模型可在不同光滑性类中实现自适应、极小极大最优的后验收敛速率。
• 为研究DP以外的杆棒混合模型（尤其是在高维情形）提供技术基础。
• 通过证明DP混合模型在无需用户指定调参的情况下可自适应光滑性类，弥合贝叶斯非参数理论中的关键空白。

提出的方法

• 提出一种基于狄利克雷过程杆棒表示的非参数混合密度新型筛法。
• 利用杆棒构造定义无限维混合模型的一系列有限维近似。
• 对精度参数 σ⁻ᵈ 使用伽马先验，对基测度 F 使用 DP(α) 先验，确保完整的贝叶斯非参数灵活性。
• 应用筛法控制度量熵和先验质量，从而推导后验集中速率。
• 利用泰勒展开和积分余项界分析混合密度在真实密度附近的局部行为。
• 使用柯西-施瓦茨不等式和霍尔德不等式控制混合密度导数的 L² 范数，确保在正则性假设下的有界性。

实验结果

研究问题

• RQ1 狄利克雷过程混合多变量正态分布能否在任意维度下对不同光滑性类实现自适应后验收敛速率？
• RQ2 所提出的筛法构造是否能确保贝叶斯非参数密度估计中的维度可扩展性和光滑性自适应性？
• RQ3 当真实密度属于无限可微或紧支集二阶可微函数类时，DP 混合模型的精确后验收敛速率是什么？
• RQ4 该模型是否能在不需调参或已知真实光滑性类的情况下实现极小极大最优速率？
• RQ5 杆棒表示如何实现技术上可处理的筛法，从而支持高维情形下的收敛速率分析？

主要发现

• 所提出的筛法构造实现了狄利克雷过程混合多变量正态分布的维度可扩展性和光滑性自适应后验集中。
• 后验收敛速率对无限光滑密度和紧支集二阶可微密度均达到极小极大最优（对数因子内）。
• 该模型在无需任何调参或已知真实光滑性类的情况下，实现了对这两类光滑性极端的自适应性。
• 筛法构造对所有霍尔德光滑性类均有效，尽管本工作未推导出中间类别的精确速率。
• 该方法提供了一般性技术框架，适用于更广泛的杆棒混合模型（不仅限于DP混合正态分布）。
• 理论分析证实，在基测度和真实密度的弱正则性假设下，先验厚度和熵条件均满足。