[论文解读] A Poisson convolution model for characterizing topical content with word frequency and exclusivity

Edoardo M. Airoldi, Jonathan Bischof|arXiv (Cornell University)|Jun 18, 2012

Topic Modeling被引用 5

一句话总结

本文提出了一种分层泊松卷积（HPC）模型，通过结合词频与排他性，并利用结构化的主题层次结构，改进了主题表征。该模型采用并行化的哈密顿蒙特卡洛采样器实现可扩展的推理。与基于频率的方法相比，该方法生成的主題摘要更具可解释性，实证验证表明其在人类评估中表现出更优的可解释性与稳定的排他性估计。

ABSTRACT

An ongoing challenge in the analysis of document collections is how to summarize content in terms of a set of inferred themes that can be interpreted substantively in terms of topics. The current practice of parametrizing the themes in terms of most frequent words limits interpretability by ignoring the differential use of words across topics. We argue that words that are both common and exclusive to a theme are more effective at characterizing topical content. We consider a setting where professional editors have annotated documents to a collection of topic categories, organized into a tree, in which leaf-nodes correspond to the most specific topics. Each document is annotated to multiple categories, at different levels of the tree. We introduce a hierarchical Poisson convolution model to analyze annotated documents in this setting. The model leverages the structure among categories defined by professional editors to infer a clear semantic description for each topic in terms of words that are both frequent and exclusive. We carry out a large randomized experiment on Amazon Turk to demonstrate that topic summaries based on the FREX score are more interpretable than currently established frequency based summaries, and that the proposed model produces more efficient estimates of exclusivity than with currently models. We also develop a parallelized Hamiltonian Monte Carlo sampler that allows the inference to scale to millions of documents.

研究动机与目标

• 解决基于频率的主题摘要在文本分析中可解释性不足的问题。
• 开发一种能够识别在主题中既频繁又具有排他性的词语的模型，以改进语义表征。
• 利用专业编辑标注的主题层次结构，为具有语义结构的主题推断提供引导。
• 通过并行化的哈密顿蒙特卡洛采样器，实现在大规模语料上的可扩展贝叶斯推理。
• 通过人工标注的实验评估主题摘要的可解释性与稳定性。

提出的方法

• HPC 模型采用分层泊松卷积框架，通过高斯扩散在已知的主题层次结构上平滑词使用率。
• 使用混合成员关系框架建模文档-主题隶属关系，主题标签与词使用率之间共享高斯先验。
• 该模型采用分块吉布斯采样器，将树参数、主题亲和力参数与语料级超参数分离，以实现并行化。
• 利用哈密顿蒙特卡洛（HMC）方法推导出速率参数、主题亲和力与超参数的条件后验分布，结合梯度与海塞信息以实现高维空间中的高效采样。
• 通过基于主题层次结构的语义感知距离度量，对排他性估计进行正则化，降低稀疏词使用带来的噪声。
• 并行化的 HMC 实现使模型能够高效遍历高维后验分布，从而在数百万篇文档上进行推理。

实验结果

研究问题

• RQ1 结合词频与排他性的模型是否能产生比仅基于频率的方法更具可解释性的主题摘要？
• RQ2 对词使用率进行分层平滑如何提升排他性估计的稳定性和可解释性？
• RQ3 所提出的 HPC 模型在具有复杂主题层次结构的真实世界大规模文档集合上，其可扩展性如何？
• RQ4 与现有主题模型相比，该模型在排他性估计的稳定性与人类可解释性方面表现如何？
• RQ5 HPC 模型能否作为评估和指导半自动主题本体构建的金标准？

主要发现

• 人类评估者认为基于 FREX 分数（频率与排他性）的主题摘要显著优于仅基于词频的主题摘要。
• 与基线模型相比，HPC 模型在低频场景下产生了更稳定的排他性估计。
• 并行化的 HMC 采样器使模型能够高效处理包含数百万篇文档与数百个主题的 Reuters 语料库。
• 研究结果表明，当通过层次接近性进行正则化时，排他性作为主题独特性的度量比频率本身更具鲁棒性与语义意义。
• 主题本体的分层结构显著提升了推断主题的可解释性，减少了来自语义上相距较远类别的噪声。
• HPC 模型的输出可作为评估其他主题模型以及半自动构建领域特定主题本体的金标准。