[论文解读] Deep Sentence Embedding Using the Long Short-Term Memory Networks

Hamid Palangi, Li Deng+6 more|arXiv (Cornell University)|Feb 24, 2015

Topic Modeling被引用 7

一句话总结

该论文提出了一种弱监督的LSTM-RNN模型，用于生成深层句子嵌入，以捕捉长期依赖关系，从而从句子中生成语义向量。通过在点击率数据上进行训练，该模型能自动识别关键术语，并通过专用的LSTM单元对它们进行聚类，在文档检索任务中显著优于当前最先进的方法。

ABSTRACT

This paper develops a model that addresses sentence embedding, a hot topic in current natural language processing research, using recurrent neural networks (RNN) with Long Short-Term Memory (LSTM) cells. The proposed LSTM-RNN model sequentially takes each word in a sentence, extracts its information, and embeds it into a semantic vector. Due to its ability to capture long term memory, the LSTM-RNN accumulates increasingly richer information as it goes through the sentence, and when it reaches the last word, the hidden layer of the network provides a semantic representation of the whole sentence. In this paper, the LSTM-RNN is trained in a weakly supervised manner on user click-through data logged by a commercial web search engine. Visualization and analysis are performed to understand how the embedding process works. The model is found to automatically attenuate the unimportant words and detects the salient keywords in the sentence. Furthermore, these detected keywords are found to automatically activate different cells of the LSTM-RNN, where words belonging to a similar topic activate the same cell. As a semantic representation of the sentence, the embedding vector can be used in many different applications. These automatic keyword detection and topic allocation abilities enabled by the LSTM-RNN allow the network to perform document retrieval, a difficult language processing task, where the similarity between the query and documents can be measured by the distance between their corresponding sentence embedding vectors computed by the LSTM-RNN. On a web search task, the LSTM-RNN embedding is shown to significantly outperform several existing state of the art methods.

研究动机与目标

• 开发一种神经网络模型，利用长短期记忆网络生成密集且有意义的句子嵌入。
• 利用商业搜索引擎的弱监督点击率数据训练嵌入模型。
• 研究LSTM-RNN如何通过单元激活模式检测关键术语并分组语义相关的词语。
• 评估所学句子嵌入在语义文档检索任务中的有效性。

提出的方法

• 该模型使用双向LSTM-RNN架构逐字处理句子，以捕捉序列依赖关系。
• 每个词语被嵌入为稠密向量，经LSTM层处理以构建分层语义表示。
• LSTM的最终隐藏状态被用作句子级别的嵌入向量。
• 网络通过弱监督方式训练，使用用户点击率数据作为相关性的代理标签。
• 该模型学习抑制不重要词语，并激活特定LSTM单元以识别主题相关的关键术语。
• 应用可视化技术分析单元激活情况，以理解语义主题如何被编码在LSTM记忆单元中。

实验结果

研究问题

• RQ1 LSTM-RNN在仅使用点击率数据的情况下，能多好地将整个句子表示为密集语义向量？
• RQ2 句子中哪些词语被LSTM-RNN自动识别为关键术语，它们在隐藏状态中如何被编码？
• RQ3 语义相似的词语是否激活相同的LSTM记忆单元，表明基于主题的单元分配？
• RQ4 与现有方法相比，所学的句子嵌入是否能提升语义文档检索的性能？

主要发现

• LSTM-RNN模型能自动抑制不重要词语，并检测句子中的关键术语。
• 属于同一语义主题的词语一致激活相同的LSTM记忆单元，表明存在基于主题的单元分配。
• 该模型所学的句子嵌入在文档检索任务中实现了显著的性能提升。
• 在点击率数据上进行弱监督训练，能有效捕捉语义相关性，而无需显式标注。
• 可视化结果证实，LSTM-RNN学习到了可解释的表示，其中语义主题被编码在不同的记忆单元中。
• 在真实世界网络搜索检索基准测试中，句子嵌入优于多种最先进的方法。