[论文解读] Document Neural Autoregressive Distribution Estimation

Stanislas Lauly, Yin Zheng+2 more|arXiv (Cornell University)|Mar 18, 2016

Topic Modeling参考文献 16被引用 8

一句话总结

本文提出文档NADE（DocNADE），一种前馈神经网络模型，将神经自回归分布估计（NADE）方法适配于使用词袋表示的文档级分布建模。通过利用基于学习词嵌入的自回归概率建模，DocNADE 实现了精确且高效的概率估计，其深度变体在困惑度和文档检索任务上优于当前最先进的话题模型。

ABSTRACT

We present an approach based on feed-forward neural networks for learning the distribution of textual documents. This approach is inspired by the Neural Autoregressive Distribution Estimator(NADE) model, which has been shown to be a good estimator of the distribution of discrete-valued igh-dimensional vectors. In this paper, we present how NADE can successfully be adapted to the case of textual data, retaining from NADE the property that sampling or computing the probability of observations can be done exactly and efficiently. The approach can also be used to learn deep representations of documents that are competitive to those learned by the alternative topic modeling approaches. Finally, we describe how the approach can be combined with a regular neural network N-gram model and substantially improve its performance, by making its learned representation sensitive to the larger, document-specific context.

研究动机与目标

• 解决在可 tractable 且精确的概率估计下建模高维离散文档数据的挑战。
• 将神经自回归分布估计器（NADE）扩展至词袋文档表示，同时保持精确推理能力。
• 学习能够捕捉文档中语义结构的有意义且话题敏感的词嵌入。
• 将DocNADE与神经语言模型结合，以提升语言建模中的上下文感知能力与性能。
• 评估DocNADE作为生成模型和文档表示任务中特征提取器的有效性。

提出的方法

• 通过在固定顺序下建模词语出现的概率，将NADE的自回归框架适配于文档级数据，使用前馈神经网络计算条件概率。
• 采用词嵌入作为输入表示，其中每个词被映射为一个稠密向量以捕捉语义相似性，并与模型端到端联合训练。
• 使用单隐藏层前馈网络基于先前观测到的词语计算隐藏表示，激活函数为Sigmoid，参数可学习。
• 应用概率的链式法则，将词语上的联合分布分解为条件概率的乘积：$ p({\bf v}) = \prod_{i=1}^{D} p(v_i|{\bf v}_{<i}) $。
• 通过堆叠多层NADE构建DeepDocNADE，以学习文档主题的层次化表示。
• 将DocNADE与前馈神经网络语言模型（FFN-LM）结合，形成DocNADE-LM，其中DocNADE为下一词预测提供文档级上下文信息。

实验结果

研究问题

• RQ1 NADE能否在保持精确且高效概率计算的前提下，有效适配于使用词袋表示的文档级分布建模？
• RQ2 基于NADE的深度架构在困惑度和文档检索性能方面与现有主题模型相比表现如何？
• RQ3 DocNADE学习到的文档表示能否通过提供上下文感知、话题相关的表示来提升神经语言模型的性能？
• RQ4 DocNADE学习到的词嵌入是否捕捉了语义和话题结构，而不仅仅是句法特性？
• RQ5 在使用DocNADE-LM时，增加多句上下文片段的大小会对语言模型困惑度产生何种影响？

主要发现

• DeepDocNADE 在测试集困惑度上优于当前最先进生成式文档模型，展现出更强的建模能力。
• 当作为特征提取器使用时，DocNADE 在文档检索任务中表现具有竞争力，与基线主题模型相当或更优。
• DocNADE-LM 模型在使用5组句子时将测试困惑度降低至109.22，显著优于基线FFN模型（119.78）和HLBL模型（112.1）。
• DocNADE组件学习到的词嵌入聚焦于政治文化关系与话题关联（例如，'israel' 与 'palestinian'、'weapons'、'diplomats' 相近），而语言模型组件则学习到更广泛的语义关系（例如，'countries'、'nations'、'russia'）。
• 在DocNADE-LM中，将分组句子数从1增加到5，导致困惑度单调下降，表明对长距离上下文的建模能力得到提升。
• 定性分析证实，DocNADE与语言模型组件学习到的是不同但互补的语义特性，验证了模型在解耦话题信息与句法信息方面的能力。