[论文解读] Automatic Labelling of Topics with Neural Embeddings

Shraey Bhatia, Jey Han Lau+1 more|arXiv (Cornell University)|Dec 16, 2016

Topic Modeling参考文献 24被引用 13

一句话总结

本文提出了一种基于神经嵌入的方法，利用维基百科文档标题自动生成并排序主题标签。通过结合词嵌入与文档嵌入，该方法在多种领域中均优于当前最先进系统，在标签质量与效率方面表现更优，且采用更简单、更有效的特征集，在候选生成与排序任务中均取得卓越性能。

ABSTRACT

Topics generated by topic models are typically represented as list of terms. To reduce the cognitive overhead of interpreting these topics for end-users, we propose labelling a topic with a succinct phrase that summarises its theme or idea. Using Wikipedia document titles as label candidates, we compute neural embeddings for documents and words to select the most relevant labels for topics. Compared to a state-of-the-art topic labelling system, our methodology is simpler, more efficient, and finds better topic labels.

研究动机与目标

• 通过生成简洁、人类可读的标签替代原始词列表，减轻解释主题模型输出时的认知负荷。
• 通过利用神经词嵌入与文档嵌入，改进现有主题标注系统，提升标签的相关性与效率。
• 开发一种轻量级、高效的排序方法，超越以往研究中使用的复杂特征集。
• 发布开源实现与新的基准数据集，用于主题标签排序评估。

提出的方法

• 利用与每个主题的顶级词相关联的维基百科文档标题生成主题标签候选。
• 使用预训练的词嵌入与文档嵌入，计算主题词与维基百科标题的密集神经嵌入。
• 通过组合四种关键特征（LetterTrigram、PageRank、TopicOverlap、NumWords）对候选标签进行排序。
• 通过支持向量回归（SVR）的监督学习方法，基于与主题的相关性对候选标签进行重排序。
• 使用主题嵌入（由顶级词聚合而成）与标题嵌入之间的余弦相似度来衡量相关性。
• 进行特征消融实验，评估不同领域中各特征的贡献。

实验结果

研究问题

• RQ1 神经词嵌入与文档嵌入能否有效从维基百科标题中生成高质量的主题标签候选？
• RQ2 最小特征集（LetterTrigram、PageRank、TopicOverlap、NumWords）是否在标签排序中优于复杂的词汇关联度量方法？
• RQ3 所提出方法在不同文本领域中的性能与当前最先进系统相比如何？
• RQ4 在不同领域中，各特征对标签排序性能的贡献程度如何？

主要发现

• NETL在所有评估指标中均优于当前最先进系统LGNB，在所有领域的平均Top-1平均评分达到2.00，而LGNB为1.92。
• 所提出的四特征排序方法（LetterTrigram、PageRank、TopicOverlap、NumWords）在所有领域中均优于LGNB的10特征方法，nDCG得分更高。
• 特征消融分析表明，PageRank在博客领域、LetterTrigram在PubMed领域中具有显著影响，表明特征效用具有领域依赖性。
• 当使用超过10个主题词进行嵌入计算时，性能下降，表明使用前10个词进行表征为最优方案。
• 使用主题中心点或加权词概率进行相似度计算仅带来微小改进，表明直接基于词级别的嵌入匹配已足够。