[论文解读] Document Informed Neural Autoregressive Topic Models

Pankaj Gupta, Florian Buettner+1 more|arXiv (Cornell University)|Jan 1, 2018

Topic Modeling参考文献 6被引用 2

一句话总结

本文提出 iDocNADE，一种神经自回归主题模型，通过在双向语言建模范式中整合完整的上下文信息（包括前序和后序词语），增强文档与词语表征。通过分别利用前向和后向隐藏层捕捉左、右上下文，iDocNADE 在文档困惑度、主题连贯性以及文档检索与分类等下游 NLP 任务中表现更优，相较于 DocNADE 在 6 个数据集上实现检索分数 2% 时精度提升 9.6%，文本分类 F1 分数提升 7.2%。

ABSTRACT

Context information around words helps in determining their actual meaning, for example "networks" used in contexts of artificial neural networks or biological neuron networks. Generative topic models infer topic-word distributions, taking no or only little context into account. Here, we extend a neural autoregressive topic model to exploit the full context information around words in a document in a language modeling fashion. This results in an improved performance in terms of generalization, interpretability and applicability. We apply our modeling approach to seven data sets from various domains and demonstrate that our approach consistently outperforms stateof-the-art generative topic models. With the learned representations, we show on an average a gain of 9.6% (0.57 Vs 0.52) in precision at retrieval fraction 0.02 and 7.2% (0.582 Vs 0.543) in F1 for text categorization.

研究动机与目标

• 为解决现有主题模型（如 DocNADE）仅使用左（过去）上下文的局限性，通过引入左、右（未来）上下文以实现更优的词语与文档表征。
• 提升神经主题模型在文档检索与分类等下游 NLP 任务中的泛化能力、可解释性与适用性。
• 通过建模文档中每个词语的完整上下文，学习更具语义意义的词语与主题表征。
• 证明与单向模型（如 DocNADE）相比，双向上下文建模在多样化文本领域中可实现更优性能。

提出的方法

• iDocNADE 在 DocNADE 基础上引入两个并行隐藏层：一个按正向顺序处理词语（左上下文），另一个按反向顺序处理（右上下文），两者均基于每个词语周围的完整序列进行条件建模。
• 对每个词语 vi，模型通过共享参数的独立前馈网络分别计算条件概率 ppvi|văiq 和 ppvi|vąiq，实现对左、右上下文的联合建模。
• 通过二叉词树实现层次化 Softmax，高效计算词汇表上的条件概率分布，降低计算复杂度。
• 词语表征由输入到隐藏层的权重矩阵 W 的列向量 W:,vi 提供，生成密集且上下文感知的嵌入表示。
• 模型通过反向传播端到端训练，以最大化观测词语序列的对数似然，同时优化左、右上下文建模。
• 双向架构使模型能够捕捉长距离依赖关系，并利用完整上下文准确区分多义词（如神经科学与计算机科学中的 'networks'）。

实验结果

研究问题

• RQ1 在神经主题模型中同时引入左、右上下文，是否能实现优于单向模型的文档表征学习？
• RQ2 全上下文建模是否能提升生成主题的连贯性与可解释性？
• RQ3 与 DocNADE 相比，iDocNADE 中的双向上下文建模在文档检索与文本分类任务中的性能提升程度如何？
• RQ4 该模型在域内与域外迁移学习设置下的泛化能力如何？

主要发现

• 在 6 个数据集上，iDocNADE 相较于 DocNADE 在检索分数 0.02 时实现精度相对提升 9.6%（0.57 vs. 0.52）。
• 在文本分类任务中，iDocNADE 实现 F1 分数相对提升 7.2%（0.582 vs. 0.543），表明其在下游任务中更具适用性。
• iDocNADE 在域内（20NewsGroups）与域外（SiROBs）测试集上的困惑度均低于 DocNADE，表明其泛化能力更强。
• 定性分析表明，iDocNADE 学习到的主题更具可解释性，例如在 20NewsGroups 和 Reuters21758 中能清晰识别出 'religion' 和 'trading' 等语义聚类。
• iDocNADE 学习到的词语表征空间中，语义相关词语（如 'god' 与 'christ'）的余弦相似度更高，表明其具备有意义的语义结构。
• 迁移学习实验表明，iDocNADE 的泛化能力优于 DocNADE，在域内与域外测试集上均表现出更低的困惑度。