[论文解读] Augment-and-Conquer Negative Binomial Processes

Mingyuan Zhou, Lawrence Carin|arXiv (Cornell University)|Sep 5, 2012

Bayesian Methods and Mixture Models参考文献 39被引用 15

一句话总结

本文提出了一种新颖的增强-征服（augment-and-conquer）框架，用于负二项（NB）过程，通过在伽马-泊松和复合泊松表示中进行数据增强，统一了计数建模与混合建模。该框架提出了伽马-NB过程，其在归一化后可转化为层次狄利克雷过程（HDP），并证明了联合推断NB分散参数与概率参数可显著提升主题建模性能，优于固定或经验设定参数的方法。

ABSTRACT

By developing data augmentation methods unique to the negative binomial (NB) distribution, we unite seemingly disjoint count and mixture models under the NB process framework. We develop fundamental properties of the models and derive efficient Gibbs sampling inference. We show that the gamma-NB process can be reduced to the hierarchical Dirichlet process with normalization, highlighting its unique theoretical, structural and computational advantages. A variety of NB processes with distinct sharing mechanisms are constructed and applied to topic modeling, with connections to existing algorithms, showing the importance of inferring both the NB dispersion and probability parameters.

研究动机与目标

• 在单一负二项（NB）过程框架下，统一看似无关的计数建模与混合建模问题。
• 通过利用NB分布特有的数据增强技术，为NB过程开发高效、闭式解的吉布斯采样推断方法。
• 揭示伽马-NB过程的理论与计算优势，其在归一化后可退化为层次狄利克雷过程（HDP）。
• 证明在主题建模中联合推断NB分散参数与概率参数的重要性，展示模型灵活性与性能的提升。
• 构建并比较多种具有不同共享机制的NB过程，突出其结构与推断上的差异。

提出的方法

• 将负二项过程扩展为伽马-泊松与复合泊松表示，以实现后验计算的可处理性。
• 在共享测度上使用伽马过程先验，构建伽马-NB过程，从而实现条件后验的闭式解。
• 对伽马-NB过程进行归一化，推导出层次狄利克雷过程（HDP），揭示其理论等价性与计算优势。
• 通过使用完全随机测度（如Beta过程与Beta-Bernoulli过程）构建其他NB过程，以改变组间共享机制。
• 在主题建模中应用该框架，将文档-主题计数建模为负二项分布，其中参数控制过度离散与方差-均值比。
• 通过数据增强进行吉布斯采样，联合推断主题比例、分散参数与概率参数，实现高效的后验推断。

实验结果

研究问题

• RQ1 负二项过程能否在单一概率框架下统一计数建模与混合建模问题？
• RQ2 伽马-NB过程的基本性质是什么？其与层次狄利克雷过程（HDP）有何关系？
• RQ3 在主题建模中，联合推断NB分散参数与概率参数对模型性能有何影响？
• RQ4 与HDP相比，伽马-NB过程在结构与计算上具有哪些优势？
• RQ5 基于r_k、p_j或p_k的共享机制如何影响主题模型的灵活性与性能？

主要发现

• 伽马-NB过程在归一化后精确等价于层次狄利克雷过程（HDP），揭示了更深层次的理论联系，并凸显了伽马-NB过程在计算与结构上的优势。
• 伽马-NB过程学习到177个活跃主题，显著优于Beta-NB过程（107个主题），证明了对组间分散性建模的优势。
• 当使用(r_k, p_j)时，主题使用频率的均值与过度离散性呈负相关，从而实现对稀有与流行主题更灵活的建模。
• 标记-Beta-NB过程（使用(r_k, p_k)）性能更优，因其可实现均值与过度离散性多样化组合，如高均值搭配高过度离散性。
• 在类似HDP的构造中，若固定p_j = 0.5，将使方差-均值比被限制为2，这是次优的；实验结果证实，学习p_j可显著提升数据拟合效果。
• 使用p_k时，活跃与非活跃主题之间的过渡更尖锐，而使用r_k时则更平滑，表明其在主题稀疏性上具有不同的归纳偏置。