[论文解读] An Adaptation of Topic Modeling to Sentences

Ruey-Cheng Chen, Reid Swanson+1 more|arXiv (Cornell University)|Jul 20, 2016

Topic Modeling参考文献 9被引用 6

一句话总结

本文提出了一种名为句子分层LDA（Sentence-Layered LDA）的主题模型，通过引入句子级别的主题层来增强标准LDA，以更好地捕捉文档结构。通过建模指导词主题分配的句子特定主题分布，该模型在测试集上的困惑度显著低于在文档或句子级别训练的标准LDA，证明了其在句子级别潜在语义建模方面的改进。

ABSTRACT

Advances in topic modeling have yielded effective methods for characterizing the latent semantics of textual data. However, applying standard topic modeling approaches to sentence-level tasks introduces a number of challenges. In this paper, we adapt the approach of latent-Dirichlet allocation to include an additional layer for incorporating information about the sentence boundaries in documents. We show that the addition of this minimal information of document structure improves the perplexity results of a trained model.

研究动机与目标

• 为解决标准LDA在句子级别主题建模中的局限性，通过引入句子边界信息。
• 通过区分文档内句子级别的贡献，改进主题分布的表示。
• 减少当LDA直接应用于句子或整个文档时出现的过拟合和共现统计信息丢失问题。
• 开发一种在文档级别和句子级别主题语义之间取得平衡的模型，以实现更好的潜在结构建模。

提出的方法

• 引入一个新的隐变量τ(xj)，表示句子级别的主题分布，该分布控制每个句子的词主题分配。
• 增加一个层次结构：文档生成句子主题，句子主题再生成词主题，其中文档、句子和词主题分布分别使用狄利克雷先验α、γ和β。
• 采用吉布斯采样推理过程，以估计词主题(zi)和句子主题(x)的条件概率，整合先验和边际后验分布。
• 采用联合生成过程，其中词主题在条件上依赖于句子主题和文档级别的主题分布。
• 采用两阶段推理：首先在训练集上学习Pr(w|z)，然后在测试数据上使用吉布斯采样（含预 burn-in 阶段）重新采样Pr(z|x)、Pr(x|d)和Pr(z|d)。
• 采用图板符号模型，明确表示文档、句子和词的层级结构，其中句子主题作为文档与词主题之间的中间开关。

实验结果

研究问题

• RQ1 将句子边界纳入主题建模是否能改善模型对句子级别数据的拟合度？
• RQ2 与在文档或句子级别训练的标准LDA相比，引入句子级别主题分布对困惑度有何影响？
• RQ3 与将句子视为独立文档相比，具有句子主题的层次结构是否能更好地保留句子之间的共现统计信息？
• RQ4 该模型在词生成过程中在多大程度上平衡了文档级别和句子级别主题的贡献？
• RQ5 通过添加一个最小结构（句子主题），是否能显著提升主题模型性能，而不会过度增加模型复杂度？

主要发现

• 句子分层LDA模型在测试集上的困惑度低于在文档级别训练的标准LDA以及在句子级别训练的LDA。
• 所提模型的困惑度在约300次迭代后收敛，表明其学习动态稳定。
• 在句子级别训练的标准LDA模型由于忽略句子边界，导致共现统计信息丢失。
• 在文档级别训练的标准LDA模型因将所有词出现视为同等重要而出现过拟合，未能捕捉句子级别的多样性。
• 该模型性能的提升归因于通过额外的句子主题层显式建模了句子级别的主题贡献。
• 通过线性回归进行参数优化显示拟合度良好（R² > 0.8），α、β和γ的所有系数在p < 0.001水平上显著，仅一个系数在p < 0.1水平上显著。