[论文解读] Fast search for Dirichlet process mixture models

Hal Daumé|ArXiv.org|Jul 10, 2009

Bayesian Methods and Mixture Models参考文献 11被引用 38

一句话总结

本文提出一种基于A*和束搜索的快速搜索方法，用于在狄利克雷过程混合模型（DPMMs）中寻找最大后验概率（MAP）聚类，显著优于传统的MCMC和变分方法。该方法在60,000个数据点上实现近似最优聚类的时间不足15分钟，其在速度和对数似然性能方面与吉布斯采样和变分推断相比表现相当或更优。

ABSTRACT

Dirichlet process (DP) mixture models provide a flexible Bayesian framework for density estimation. Unfortunately, their flexibility comes at a cost: inference in DP mixture models is computationally expensive, even when conjugate distributions are used. In the common case when one seeks only a maximum a posteriori assignment of data points to clusters, we show that search algorithms provide a practical alternative to expensive MCMC and variational techniques. When a true posterior sample is desired, the solution found by search can serve as a good initializer for MCMC. Experimental results show that using these techniques is it possible to apply DP mixture models to very large data sets.

研究动机与目标

• 解决狄利克雷过程混合模型（DPMMs）中推理的高计算成本问题，该问题限制了其在大规模数据集上的应用。
• 克服MCMC和变分推断在DPMMs中的局限性，即速度慢或缺乏收敛性保证。
• 开发一种实用且可扩展的MAP聚类替代方法，避免昂贵的采样和优化过程。
• 为MCMC提供一种快速初始化方法，以加速DPMMs中的后验采样。
• 在具有共轭指数族似然函数的连续和离散数据上，证明搜索算法的有效性。

提出的方法

• 将A*和束搜索算法应用于DPMMs的聚类分配空间搜索，由启发式评分函数引导。
• 使用一种修改后的非可接纳评分函数，结合数据似然和聚类先验，以高效引导搜索。
• 利用指数族似然和先验的共轭性，精确计算聚类分配的后验概率。
• 通过维护一组候选聚类并使用束搜索剪枝低分路径，优化MAP目标。
• 利用狄利克雷过程的可交换性，高效计算搜索过程中的条件概率。
• 缓存充分统计量并使用数据结构，以减少搜索过程中重复计算似然的开销。

实验结果

研究问题

• RQ1 像A*和束搜索这样的基于搜索的方法，能否为DPMMs中的MAP推理提供一种可扩展的替代MCMC和变分推断的方法？
• RQ2 在大规模数据集上，基于搜索的MAP推理在对数似然和运行时间方面与吉布斯采样相比表现如何？
• RQ3 一种快速、近似的MAP解能否作为DPMMs中MCMC采样的有效初始化？
• RQ4 使用非可接纳启发式函数对DPMM聚类中搜索效率和解质量有何影响？
• RQ5 基于搜索的方法在多大程度上可扩展至大规模数据集（例如60,000个点），同时保持高质量聚类？

主要发现

• 所提出的基于搜索的方法在Matlab中对60,000个数据点的数据集实现MAP聚类的时间不足15分钟，显著快于MCMC和变分方法。
• 在10,000个数据点的数据集上，该搜索方法找到的聚类对数似然达3.2e6，优于吉布斯采样（3.0e6）和分裂-合并MCMC。
• 使用非可接纳评分函数可实现极快收敛，通常比标准方法更早达到近似最优解。
• 主要计算瓶颈在于先验项p(c)的优化，其计算复杂度与数据量的平方成正比，提示仍有进一步优化空间。
• 基于搜索的解可作为MCMC的高质量初始化，从而实现更快混合和更高效的后验采样。
• 该方法在使用共轭指数族似然函数时，对连续和离散数据均具有通用性和有效性。