[論文レビュー] Deep Sentence Embedding Using the Long Short-Term Memory Networks

Hamid Palangi, Li Deng+6 more|arXiv (Cornell University)|Feb 24, 2015

Topic Modeling被引用数 7

ひとこと要約

本論文では、クリックスルーデータを用いて弱教師あり学習を行うLSTM-RNNモデルを提案し、文の意味的ベクトルを生成するための深層文埋め込みを実現する。このモデルは長期間の依存関係を捉えることができ、文のキーワードを自動的に特定し、特殊なLSTMセルを用いてクラスタリングする。文書検索タスクにおいて、最先端の手法を著しく上回る性能を発揮する。

ABSTRACT

This paper develops a model that addresses sentence embedding, a hot topic in current natural language processing research, using recurrent neural networks (RNN) with Long Short-Term Memory (LSTM) cells. The proposed LSTM-RNN model sequentially takes each word in a sentence, extracts its information, and embeds it into a semantic vector. Due to its ability to capture long term memory, the LSTM-RNN accumulates increasingly richer information as it goes through the sentence, and when it reaches the last word, the hidden layer of the network provides a semantic representation of the whole sentence. In this paper, the LSTM-RNN is trained in a weakly supervised manner on user click-through data logged by a commercial web search engine. Visualization and analysis are performed to understand how the embedding process works. The model is found to automatically attenuate the unimportant words and detects the salient keywords in the sentence. Furthermore, these detected keywords are found to automatically activate different cells of the LSTM-RNN, where words belonging to a similar topic activate the same cell. As a semantic representation of the sentence, the embedding vector can be used in many different applications. These automatic keyword detection and topic allocation abilities enabled by the LSTM-RNN allow the network to perform document retrieval, a difficult language processing task, where the similarity between the query and documents can be measured by the distance between their corresponding sentence embedding vectors computed by the LSTM-RNN. On a web search task, the LSTM-RNN embedding is shown to significantly outperform several existing state of the art methods.

研究の動機と目的

• 長短期間記憶ネットワークを用いて、密度的で意味のある文埋め込みを生成するニューラルネットワークモデルの開発。
• 商業用検索エンジンの弱教師ありクリックスルーデータを活用し、埋め込みモデルを学習する。
• LSTM-RNNがどのように重要キーワードを検出し、セルの活性化パターンを通じて意味的に関連する語をグループ化するかを調査する。
• 学習された文埋め込みが意味的文書検索タスクにおいてどの程度有効であるかを評価する。

提案手法

• モデルは文を語順に処理する双方向LSTM-RNNアーキテクチャを用い、順序依存関係を捉える。
• 各語は密度的ベクトルに埋め込まれ、LSTM層を通じて処理され、階層的な意味的表現が構築される。
• LSTMの最終隠れ状態が文レベルの埋め込みベクトルとして使用される。
• ネットワークは、関連性の代理ラベルとしてユーザーのクリックスルーデータを用いて弱教師あり学習で訓練される。
• モデルは重要でない語を弱める一方で、特定のLSTMセルをトピック関連キーワード用に活性化する。
• セルの活性化を分析し、意味的トピックがLSTMメモリセルにどのようにエンコードされているかを理解するために可視化技術が適用される。

実験結果

リサーチクエスチョン

• RQ1 LSTM-RNNはクリックスルーデータのみを用いて、文全体を密度的な意味的ベクトルとして表現できるか？
• RQ2 LSTM-RNNが自動的に検出する重要語は何か、そしてそれらは隠れ状態にどのようにエンコードされているか？
• RQ3 意味的に類似した語は同じLSTMメモリセルを活性化するか？これはトピックベースのクラスタリングを示唆するか？
• RQ4 学習された文埋め込みは、既存の手法と比較して意味的文書検索の性能向上に寄与するか？

主な発見

• LSTM-RNNモデルは、重要でない語を自動的に弱め、文内の重要キーワードを検出する。
• 同じ意味的トピックに属する語は、一貫して同じLSTMメモリセルを活性化する。これはトピックベースのセル割り当てを示している。
• モデルが学習した文埋め込みは、文書検索タスクで顕著な性能向上を達成する。
• 明示的なアノテーションなしに、クリックスルーデータの弱教師あり学習が意味的関連性を効果的に捉えている。
• 可視化により、LSTM-RNNが解釈可能な表現を学習しており、意味的トピックが明確なメモリユニットにエンコードされていることが確認された。
• 実世界のWeb検索検索ベンチマークにおいて、学習された文埋め込みは複数の最先端手法を上回る性能を発揮した。