[論文レビュー] Context based Text-generation using LSTM networks

Sivasurya Santhanam|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 14被引用数 9

ひとこと要約

本論文では、単語クラスタリングまたはドメイン固有の埋め込みから得られる文脈ベクトルを統合することで、文脈に配慮したLSTMベースのテキスト生成モデルを提案する。入力系列と文脈ベクトルの両方に条件づけられたLSTMを訓練することで、ベースラインモデルと比較して著しく高い文脈との意味的類似度を達成する。ドメイン固有の埋め込みを用いることで、特に優れた性能が得られる。

ABSTRACT

Long short-term memory(LSTM) units on sequence-based models are being used in translation, question-answering systems, classification tasks due to their capability of learning long-term dependencies. In Natural language generation, LSTM networks are providing impressive results on text generation models by learning language models with grammatically stable syntaxes. But the downside is that the network does not learn about the context. The network only learns the input-output function and generates text given a set of input words irrespective of pragmatics. As the model is trained without any such context, there is no semantic consistency among the generated sentences. The proposed model is trained to generate text for a given set of input words along with a context vector. A context vector is similar to a paragraph vector that grasps the semantic meaning(context) of the sentence. Several methods of extracting the context vectors are proposed in this work. While training a language model, in addition to the input-output sequences, context vectors are also trained along with the inputs. Due to this structure, the model learns the relation among the input words, context vector and the target word. Given a set of context terms, a well trained model will generate text around the provided context. Based on the nature of computing context vectors, the model has been tried out with two variations (word importance and word clustering). In the word clustering method, the suitable embeddings among various domains are also explored. The results are evaluated based on the semantic closeness of the generated text to the given context.

研究の動機と目的

• 入力系列以外の文脈的情報を統合することで、LSTMベースのテキスト生成における意味的整合性の欠如を是正すること。
• 入力文の意味的意味を捉える文脈ベクトルを効果的に抽出する手法を調査すること。
• 意味的類似度メトリクスを用いて、文脈ベクトルがテキスト生成品質に与える影響を評価すること。
• 文脈に配慮した言語モデルの最適なトレーニング期間とモデル設定を特定すること。
• 質問応答やチャットボットなどの実世界のNLPタスクにおける文脈に配慮した生成の適用可能性を示すこと。

提案手法

• 入力語系列と文脈ベクトルの両方を入力として受け取り、ターゲット語を生成するように変更されたLSTMアーキテクチャを導入する。
• 2つの文脈抽出手法を採用する：事前学習済みベクトル空間（例：Word2Vec、GloVe）における語の重要度順位付けと語のクラスタリング。
• 入力出力系列と文脈ベクトルの両方を最適化するため、バックプロパゲーション・スル・タイム（BPTT）を用いてエンドツーエンドでモデルを訓練する。
• 生成された文における名詞と文脈語との間のコサイン類似度を、意味的近接性の評価指標として使用する。
• 3エポックごとに評価指標を適用し、トレーニングの進行状況を監視し、過学習の兆候を検出する。
• Wikipedia由来の埋め込みとドメイン固有の埋め込みを用いてトレーニングされたモデルを比較し、文脈品質への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのテキスト生成に文脈ベクトルを統合することで、入力文脈との意味的整合性が向上するか？
• RQ2 語の重要度順位付けと語のクラスタリングのうち、どちらの文脈ベクトル抽出手法が文脈に配慮したテキスト生成においてより優れた性能を発揮するか？
• RQ3 語の埋め込み空間の選択（例：Wikipedia対ドメイン固有）が、生成テキストの品質にどのように影響するか？
• RQ4 トレーニングのどの段階でモデルが文脈との意味的類似度で最適な性能を発揮するか？また、過学習は発生するか？
• RQ5 文脈に配慮した生成は、質問応答や対話システムなどの実世界のNLPアプリケーションに効果的に応用可能か？

主な発見

• 文脈ベクトルを統合した文脈に配慮したLSTMモデルは、ベースモデルに比べて著しく優れており、時間経過に伴って高いかつ安定したコサイン類似度スコアが得られた。
• ドメイン固有のベクトル空間における語クラスタリングにより抽出された文脈ベクトルを用いたモデルが、Wikipedia埋め込みを用いたモデルよりも優れた性能を示した。
• モデルは約20エポックで最適な性能に達し、最適なドメインベースのモデルでは意味的類似度スコアが67％から85％の範囲に収まった。
• コサイン類似度評価法は過学習を効果的に検出できた。最適なトレーニング期間を過ぎると、性能が低下し始めた。
• ドメイン固有の埋め込みを用いて文脈ベクトルを生成することで、より意味的に関連性が高く、文脈に整合したテキスト生成が可能になった。
• 結果から、トピックに配慮した、あるいは構造的にガイドされた応答を要するアプリケーション、たとえば質問応答やチャットボットへの一般化が可能であることが示唆された。