[论文解读] TopicRNN: A Recurrent Neural Network with Long-Range Semantic Dependency

Adji Bousso Dieng, Chong Wang+2 more|arXiv (Cornell University)|Nov 5, 2016

Topic Modeling被引用 129

一句话总结

TopicRNN 将 RNN 与潜在主题结合，以端到端方式建模局部词序和全局语义上下文，相对于上下文相关的 RNN 基线在困惑度上有提升，并且能够为情感分析提供无监督的文档特征。

ABSTRACT

In this paper, we propose TopicRNN, a recurrent neural network (RNN)-based language model designed to directly capture the global semantic meaning relating words in a document via latent topics. Because of their sequential nature, RNNs are good at capturing the local structure of a word sequence - both semantic and syntactic - but might face difficulty remembering long-range dependencies. Intuitively, these long-range dependencies are of semantic nature. In contrast, latent topic models are able to capture the global underlying semantic structure of a document but do not account for word ordering. The proposed TopicRNN model integrates the merits of RNNs and latent topic models: it captures local (syntactic) dependencies using an RNN and global (semantic) dependencies using latent topics. Unlike previous work on contextual RNN language modeling, our model is learned end-to-end. Empirical results on word prediction show that TopicRNN outperforms existing contextual RNN baselines. In addition, TopicRNN can be used as an unsupervised feature extractor for documents. We do this for sentiment analysis on the IMDB movie review dataset and report an error rate of $6.28\%$. This is comparable to the state-of-the-art $5.91\%$ resulting from a semi-supervised approach. Finally, TopicRNN also yields sensible topics, making it a useful alternative to document models such as latent Dirichlet allocation.

研究动机与目标

• 将局部句法建模的 RNN 与来自主题模型的全局语义结构结合起来的动机。
• 提出一个端到端的 TopicRNN 框架，联合学习 RNN 参数和潜在主题表示。
• 显式处理停用词，以将全局语义影响与局部句法分离。
• 在 PTB 上显示困惑度的改进，并在 IMDB 上实现有竞争力的情感结果，而无需预训练的主题。
• 表明 TopicRNN 可以产生连贯的主题并作为下游任务的无监督特征提取器。

提出的方法

• 定义一个生成式的 TopicRNN 模型，其中潜在主题向量 theta 来自高斯先验。
• 在每个步 t，从前一个单词 x_t 和 h_{t-1} 计算 RNN 隐状态 h_t。
• 引入一个停用词指示符 l_t，它是从一个以 h_t 为参数的伯努利分布中抽取的。
• 用局部项 v_i^T h_t 表示 p(y_t|h_t, theta, l_t)，当 l_t=0 时，还存在一个全局主题偏置 b_i^T theta；否则 theta 不影响输出。
• 使用变分推断网络 q(theta|X_c, W_c) 来近似 theta 的后验，其中 X_c 是非停用词的词袋表示。
• 用重新参数化优化 ELBO，并使用 Adam 端到端地同时更新推断网络和模型。
• 通过(theta 的点估计值，即 q 的均值)来生成预测，并对 l_t 进行边际化以提高效率；并使用滑动窗口来更新 theta 以提高效率。

实验结果

研究问题

• RQ1 潜在主题是否可以在不需要预训练或外部提供的主题特征的情况下，为 RNN 语言模型提供全局语义上下文？
• RQ2 相较于上下文 RNN 基线，TopicRNN 是否在 PTB 上提高了词预测困惑度？
• RQ3 TopicRNN 是否能够生成有意义的主题，并作为情感分析（IMDB）无监督特征提取器？
• RQ4 将全局语义影响（通过 theta）与局部句法分离对模型性能和训练动态有何影响？

主要发现

模型	有效困惑度	测试困惑度
rnn (no features)	239.2	225.0
rnn (LDA features)	197.3	187.4
TopicRNN	184.5	172.2
TopicLSTM	188.0	175.0
TopicGRU	178.3	166.7
rnn (no features) (100 Neurons)	150.1	142.1
rnn (LDA features) (100 Neurons)	132.3	126.4
TopicRNN (100 Neurons)	128.5	122.3
TopicLSTM (100 Neurons)	126.0	118.1
TopicGRU (100 Neurons)	118.3	112.4
rnn (no features) (300 Neurons)	-	124.7
rnn (LDA features) (300 Neurons)	-	113.7
TopicRNN (300 Neurons)	118.3	112.2
TopicLSTM (300 Neurons)	104.1	99.5
TopicGRU (300 Neurons)	99.6	97.3

• TopicRNN 在 PTB 上的每词困惑度相较于上下文 RNN 基线在各网络规模下都较低。
• 使用 100 个神经元和 50 个主题的模型在没有预训练主题特征的情况下实现了有竞争力的困惑度。
• TopicRNN 派生的特征在 IMDB 100K 上实现了有竞争力的情感分析，错误率为 6.28%，接近最先进的方法。
• TopicRNN 能生成合理的主题和连贯的文本样本。
• TopicRNN 的主题和特征为下游任务（如聚类和情感分析）提供了可用的无监督表示。