[論文レビュー] Contextual LSTM (CLSTM) models for Large scale NLP tasks

Shalini Ghosh, Oriol Vinyals+4 more|arXiv (Cornell University)|Feb 19, 2016

Topic Modeling参考文献 48被引用数 190

ひとこと要約

CLSTMはトピック-コンテキスト機能をLSTMに拡張して、WikipediaとGoogleニュースデータ上での単語予測、次文選択、文のトピック予測を改善し、強力なLSTMベースラインに対して相対的に有意な改善を示します。

ABSTRACT

Documents exhibit sequential structure at multiple levels of abstraction (e.g., sentences, paragraphs, sections). These abstractions constitute a natural hierarchy for representing the context in which to infer the meaning of words and larger fragments of text. In this paper, we present CLSTM (Contextual LSTM), an extension of the recurrent neural network LSTM (Long-Short Term Memory) model, where we incorporate contextual features (e.g., topics) into the model. We evaluate CLSTM on three specific NLP tasks: word prediction, next sentence selection, and sentence topic prediction. Results from experiments run on two corpora, English documents in Wikipedia and a subset of articles from a recent snapshot of English Google News, indicate that using both words and topics as features improves performance of the CLSTM models over baseline LSTM models for these tasks. For example on the next sentence selection task, we get relative accuracy improvements of 21% for the Wikipedia dataset and 18% for the Google News dataset. This clearly demonstrates the significant benefit of using context appropriately in natural language (NL) tasks. This has implications for a wide variety of NL applications like question answering, sentence completion, paraphrase generation, and next utterance prediction in dialog systems.

研究の動機と目的

• トピックベース Signals を用いて長距離の文書内文脈情報を動機づけ・モデル化し、言語モデリングの性能を向上させる。
• LSTMゲートにトピック埋め込みを注入するCLSTMアーキテクチャを開発する。
• 大規模コーパス（Wikipedia と Google News）全体で、単語予測、次文選択、文のトピック予測に対するCLSTMを評価する。
• 階層的（文と段落）トピックと教師なし思考信号が性能に与える影響を分析する。

提案手法

• 入力、忘却、セル、出力ゲートにトピックベクトルTを組み込むようにLSTMセル方程式を修正する（単語埋め込みとトピック埋め込みを連結する）。
• HTM階層トピックモデリングを用いてセグメント（PrevSent、SentSeg、ParaSeg）に対するトピック分布を提供する。
• 大規模コーパス（Wikipedia 129K 語彙、Google News 100K 語彙）でモデルを訓練し、単語のみのLSTMベースラインと比較する。
• さまざまな特徴量の組み合わせの下で、単語予測パープレキシティ、次文スコアリング精度、文トピックパープレキシティを評価する。
• 監督付きトピックの代替として、教師なしの思考ベクトル（PrevSentThought）を用いる実験を行う。
• 参考として1024隠れユニットでWikipediaとGoogle Newsのデータセットの結果を報告する。
• エラータイプの分析を提供し、階層型LSTM（HLSTM）などの潜在的な拡張について議論する。

実験結果

リサーチクエスチョン

• RQ1 CLSTMを介してトピックコンテキストを組み込むと、強力なLSTMベースラインよりも単語予測のパープレキシティが改善されますか？
• RQ2 文レベルおよび段落レベルのトピック信号が与えられた場合、次文選択の精度をLSTMと比較してCLSTMは改善できますか？
• RQ3 文のトピック予測は、単語+トピックの特徴を使用する場合、単語のみやトピックのみの場合より正確ですか？
• RQ4 異なるトピック信号の変種（PrevSentTopic、SentSegTopic、ParaSegTopic）は性能にどのように影響しますか？
• RQ5 監視なしの思考ベクトルは、CLSTMにおける監視付きトピック信号の妥当な代替手段となりますか？

主な発見

Input	Hidden Units 256	Hidden Units 512	Hidden Units 1024
Word	38.56	32.04	27.66
Word + PrevSentTopic	37.79	31.44	27.81
Word + SentSegTopic	38.04	31.28	27.34
Word + ParaSegTopic	38.02	31.41	27.30
Word + PrevSentTopic + SentSegTopic	38.11	31.22	27.31
Word + SentSegTopic + ParaSegTopic	37.65	31.02	27.10

• Word + SentSegTopic + ParaSegTopic を組み合わせた CLSTM は、Wikipedia と Google News の両方で単語予測のパープレキシティが最も良い。
• 文レベルおよび段落レベルのトピックを追加すると単語予測のパープレキシティが改善されるが、1024隠れユニットを超えるとリターンは小さくなる。
• 次文スコアリング: LSTM 精度 52% 対 CLSTM 63%（Wikipedia テストデータセット）、相対改善は 21%。
• 文トピック予測: Word+SentTopic を用いた CLSTM は、基準の SentTopic よりパープレキシティで 12% 以上向上した。
• 思考ベクトル（PrevSentThought）を用いた CLSTM は、単語のみモデルと比較してパープレキシティを改善するが、監督付きトピック信号の方がより大きな改善をもたらす可能性がある。
• Google News では、CLSTM が LSTM より次文選択精度で約18%、トピック予測タスクで約9%の改善を示す。