[论文解读] Summarizing topical content with word frequency and exclusivity

Jonathan Bischof, Edoardo M. Airoldi|arXiv (Cornell University)|Jun 18, 2012

Topic Modeling被引用 158

一句话总结

本文提出了一种分层泊松卷积模型，通过识别在主题内频繁出现且在其他主题中独有的词语，利用一种新颖的FREX评分，提升了主题摘要的可解释性。该模型利用专业整理的分层主题层级结构，并通过大规模的Amazon Turk实验表明，基于FREX的摘要显著优于基于频率的方法，且通过并行化的哈密顿蒙特卡洛方法实现了可扩展的推理。

ABSTRACT

An ongoing challenge in the analysis of document collections is how to summarize content in terms of a set of inferred themes that can be interpreted substantively in terms of topics. The current practice of parametrizing the themes in terms of most frequent words limits interpretability by ignoring the differential use of words across topics. We argue that words that are both common and exclusive to a theme are more effective at characterizing topical content. We consider a setting where professional editors have annotated documents to a collection of topic categories, organized into a tree, in which leaf-nodes correspond to the most specific topics. Each document is annotated to multiple categories, at different levels of the tree. We introduce a hierarchical Poisson convolution model to analyze annotated documents in this setting. The model leverages the structure among categories defined by professional editors to infer a clear semantic description for each topic in terms of words that are both frequent and exclusive. We carry out a large randomized experiment on Amazon Turk to demonstrate that topic summaries based on the FREX score are more interpretable than currently established frequency based summaries, and that the proposed model produces more efficient estimates of exclusivity than with currently models. We also develop a parallelized Hamiltonian Monte Carlo sampler that allows the inference to scale to millions of documents.

研究动机与目标

• 解决传统主题建模方法仅依赖词语频率所带来的局限性，这些方法常产生模糊或冗余的主题描述。
• 通过识别在主题内常见但在其他主题中罕见的词语，提升主题摘要的可解释性。
• 利用专业整理的分层主题分类体系，指导主题特定词语重要性的推断。
• 开发一种可扩展的推理方法，能够在保持排他性估计准确性的同时处理数百万篇文档。
• 通过大规模人工评估实证验证，基于FREX的摘要比标准频率基摘要更具可解释性。

提出的方法

• 作者提出一种分层泊松卷积模型，将文档中的词频建模为受树状主题层级结构影响的主题特定词分布的函数。
• 通过惩罚在多个主题中频繁出现的词语，引入排他性机制，优先选择仅在单一主题中具有特征性的词语。
• 提出一种新颖的FREX（频率与排他性）评分，用于量化词语在主题内的频率与其在其他主题中的稀有性之间的平衡。
• 推理过程采用并行化的哈密顿蒙特卡洛（HMC）采样器，以高效扩展至包含数百万篇文档的大规模文档集合。
• 在模型中编码主题树的分层结构，以从更广泛的主题向更具体主题传播排他性约束。
• 联合估计主题-词分布与文档-主题分配，同时尊重专家标注的主题树所定义的语义关系。

实验结果

研究问题

• RQ1 结合词语频率与排他性的主题摘要方法，是否能产生比仅基于频率的方法更具可解释性的主题描述？
• RQ2 专业整理的分层主题分类体系在主题建模中如何改善词语排他性的估计？
• RQ3 在人工评估中，所提出的FREX评分在多大程度上优于现有的基于频率的摘要技术？
• RQ4 所提出的模型是否能够在保持准确排他性估计的同时，扩展至大规模文档集合？
• RQ5 使用并行化的HMC采样器是否能够在不牺牲模型保真度的前提下，实现对百万篇文档数据集的高效推理？

主要发现

• 在Amazon Turk上的大规模随机实验表明，基于FREX的摘要显著优于基于频率的摘要，具有更高的可解释性。
• 所提出的分层泊松卷积模型在估计词语排他性方面，相比现有模型具有更高的准确性。
• 并行化的哈密顿蒙特卡洛采样器实现了对包含数百万篇文档的文档集合的可扩展推理。
• 专家标注的主题层级结构的整合，提升了主题描述的语义连贯性与独特性。
• 该模型在识别既在主题内频繁出现又在其他主题中罕见的词语方面表现出稳健性能，从而增强了主题的可解释性。
• 人工评估确认，无论在何种主题类别下，基于FREX的摘要始终优于基线的频率基摘要。