[论文解读] Bayesian Nonparametric Multilevel Clustering with Group-Level Contexts

Vu Nguyen, Dinh Phung+3 more|arXiv (Cornell University)|Jan 9, 2014

Bayesian Methods and Mixture Models参考文献 29被引用 24

一句话总结

该论文提出MC²，一种贝叶斯非参数模型，通过利用群体层面的上下文信息（例如作者、时间戳），联合执行内容数据（例如文档中的词语）的多层聚类和群体层面的聚类。该模型采用具有乘积基测度的嵌套狄利克雷过程，自动推断主题数量和聚类数，同时通过整合上下文信息，在文本和图像领域均提升了主题预测能力和聚类准确性。

ABSTRACT

We present a Bayesian nonparametric framework for multilevel clustering which utilizes group-level context information to simultaneously discover low-dimensional structures of the group contents and partitions groups into clusters. Using the Dirichlet process as the building block, our model constructs a product base-measure with a nested structure to accommodate content and context observations at multiple levels. The proposed model possesses properties that link the nested Dirichlet processes (nDP) and the Dirichlet process mixture models (DPM) in an interesting way: integrating out all contents results in the DPM over contexts, whereas integrating out group-specific contexts results in the nDP mixture over content variables. We provide a Polya-urn view of the model and an efficient collapsed Gibbs inference procedure. Extensive experiments on real-world datasets demonstrate the advantage of utilizing context information via our model in both text and image domains.

研究动机与目标

• 解决现有主题模型和聚类方法无法联合利用群体层面上下文信息的局限性。
• 构建一个统一框架，无需预先指定聚类或主题数量，即可同时发现内容主题和群体聚类。
• 通过在推理过程中引入上下文数据，提升主题建模和聚类性能。
• 确保在真实数据中存在部分缺失上下文信息时仍具备鲁棒性。
• 通过边际化性质，建立嵌套狄利克雷过程（nDP）与狄利克雷过程高斯混合模型（DPM）之间的理论联系。

提出的方法

• 构建具有嵌套狄利克雷过程结构的乘积基测度，以在多个层次上建模内容和上下文观测。
• 使用狄利克雷过程作为构建模块，实现在主题数和聚类数上的非参数推断。
• 采用退化吉布斯采样程序，通过积分掉潜在变量实现高效的后验推断。
• 引入辅助变量 $b_k$、$t_k$ 和 $v$，以促进共轭采样，并处理模型中的伽马-伽马和贝塔-伯努利共轭关系。
• 推导出一种Polya-urn表示法，为聚类和主题分配过程提供生成式解释。
• 应用重要性采样计算测试数据上的困惑度，用于模型评估。

实验结果

研究问题

• RQ1 贝叶斯非参数模型能否在利用群体层面上下文信息的同时，联合推断内容主题和群体聚类？
• RQ2 与上下文无关的模型相比，引入上下文信息在多大程度上提升了主题建模和聚类的质量？
• RQ3 在使用上下文信息时，文档长度和文档数量对聚类性能有何影响？
• RQ4 当上下文数据存在部分缺失时，该模型的性能如何？
• RQ5 在此框架中，嵌套狄利克雷过程与狄利克雷过程高斯混合模型之间存在何种理论联系？

主要发现

• MC²模型在文档聚类性能上优于基线方法，尤其在有上下文信息时表现更优。
• 引入上下文信息后，主题的预测性和连贯性显著提升，测试数据上的困惑度更低。
• 该模型对部分缺失的上下文信息具有鲁棒性，能保持较强的聚类和主题建模性能。
• 在真实世界文本和图像数据集上的实验表明，上下文感知建模能有效提升聚类和主题建模的效果。
• 理论分析表明，若对所有内容数据进行积分，可得到上下文上的DPM；若对群体层面的上下文进行积分，则可得到内容变量上的nDP，验证了该模型结构的一致性。