[论文解读] Analysis of Morphology in Topic Modeling.

Chandler May, Ryan Cotterell+1 more|arXiv (Cornell University)|Aug 13, 2016

Topic Modeling参考文献 24被引用 4

一句话总结

本文研究了词形还原如何通过减少文本中的词形变化来提升主题模型的可解释性。通过在词形丰富的语言的维基百科文章上进行单词干扰评估，结果表明，词形还原显著提升了LDA模型的主题表征质量，使主题词列表更加连贯且有意义。

ABSTRACT

Topic models make strong assumptions about their data. In particular, different words are implicitly assumed to have different meanings: topic models are often used as human-interpretable dimensionality reductions and a proliferation of words with identical meanings would undermine the utility of the top-$m$ word list representation of a topic. Though a number of authors have added preprocessing steps such as lemmatization to better accommodate these assumptions, the effects of such data massaging have not been publicly studied. We make first steps toward elucidating the role of morphology in topic modeling by testing the effect of lemmatization on the interpretability of a latent Dirichlet allocation (LDA) model. Using a word intrusion evaluation, we quantitatively demonstrate that lemmatization provides a significant benefit to the interpretability of a model learned on Wikipedia articles in a morphologically rich language.

研究动机与目标

• 研究词形变化如何影响潜在狄利克雷分配（LDA）模型中主题模型的可解释性。
• 评估通过词形归一化减少同义性是否能提升主题表征的质量。
• 使用定量评估方法实证检验预处理中词形还原对主题模型可解释性的影响。
• 提供证据以验证词形归一化是否增强了主题中顶级词列表的连贯性和人类可解释性。

提出的方法

• 对词形丰富的语言的维基百科文章应用词形还原，将屈折形式的词还原为其基本形式。
• 在原始文本和词形还原后的文本上分别训练潜在狄利克雷分配（LDA）模型，以比较主题表征。
• 使用单词干扰评估来衡量可解释性，通过评估人类评估者在主题的顶级词列表中识别目标词的能力。
• 评估比较原始文本与词形还原后文本的模型表现，检测准确率越高，表示可解释性越好。
• 使用统计分析确定词形还原带来的可解释性提升是否具有显著性。

实验结果

研究问题

• RQ1 词形还原是否能提升词形丰富语言中主题模型的可解释性？
• RQ2 词形变化如何影响LDA主题中顶级词列表的连贯性？
• RQ3 在单词干扰任务中，词形还原在多大程度上提升了主题表征的质量？
• RQ4 在维基百科文本上应用词形还原后，可解释性的提升是否具有统计显著性？

主要发现

• 词形还原显著提升了在词形丰富语言的维基百科文章上LDA模型的可解释性。
• 单词干扰评估显示，目标词在词形还原文本中的检测准确率更高，表明主题连贯性更好。
• 可解释性的提升具有可量化的测量结果且具有统计显著性。
• 结果表明，词形归一化增强了主题模型作为人类可解释的降维工具的实用性。