[論文レビュー] Generating Natural Language Inference Chains

Vladyslav Kolesnyk, Tim Rocktäschel+1 more|arXiv (Cornell University)|Jun 4, 2016

Topic Modeling参考文献 17被引用数 13

ひとこと要約

この論文は、SNLIコーパスの entailment ペair から学習したアテンション拡張LSTMを用いて、自然言語における帰結連鎖の生成という新しいタスクを導入する。モデルは正しい帰結文を生成する際、82%の正確性を達成し、解釈可能な帰結連鎖とデータ拡張のための逆方向生成を可能にし、ドメイン外のテキストに対しても良好な一般化性能を示す。

ABSTRACT

The ability to reason with natural language is a fundamental prerequisite for many NLP tasks such as information extraction, machine translation and question answering. To quantify this ability, systems are commonly tested whether they can recognize textual entailment, i.e., whether one sentence can be inferred from another one. However, in most NLP applications only single source sentences instead of sentence pairs are available. Hence, we propose a new task that measures how well a model can generate an entailed sentence from a source sentence. We take entailment-pairs of the Stanford Natural Language Inference corpus and train an LSTM with attention. On a manually annotated test set we found that 82% of generated sentences are correct, an improvement of 10.3% over an LSTM baseline. A qualitative analysis shows that this model is not only capable of shortening input sentences, but also inferring new statements via paraphrasing and phrase entailment. We then apply this model recursively to input-output pairs, thereby generating natural language inference chains that can be used to automatically construct an entailment graph from source sentences. Finally, by swapping source and target sentences we can also train a model that given an input sentence invents additional information to generate a new sentence.

研究の動機と目的

• 現実世界のタスクでは単一のソース文しか入手できないが、NLPシステムが文のペアに依存するという限界を解消すること。
• 単一の前提文から帰結仮説を生成できるsequence-to-sequenceモデルの開発。
• 帰結文の再帰的生成を通じて、解釈可能な自然言語帰結連鎖の構築。
• 訓練時に入力と出力を逆転させることで逆方向生成を探索し、より記述的な文を生成すること。
• モデルのドメイン外テキストへの一般化性能と、下流NLPタスクにおけるデータ拡張の可能性の評価。

提案手法

• word2vecで事前学習した埋め込みを用いて、SNLIコーパスの entailment ペア上でLSTMベースの sequence-to-sequence モデルをファインチューニング。
• アテンションを導入し、デコーダーが関連するエンコーダー状態に集中できるようにし、長距離依存性のモデリングを向上。
• 勾配クリッピングと25エポック後の早期停止を適用したAdam最適化法でモデルを訓練。
• 循環が検出されるまで、モデルの出力を再帰的に入力としてフィードバックすることで帰結連鎖を生成。
• 訓練時に入力と出力を逆転させることで逆方向生成を学習し、一般文からより具体的な文を生成可能にする。
• 共通の意味的根拠に収束する共通の根文に至る共通の意味的構造を持つ、帰結連鎖を集約して帰結グラフを構築。

実験結果

リサーチクエスチョン

• RQ1 sequence-to-sequence モデルは、単一の前提文から高い正確性で正しい帰結文を生成できるか？
• RQ2 帰結文の再帰的生成は、一貫性があり解釈可能な自然言語帰結連鎖を形成できるか？
• RQ3 モデルはSNLIコーパス以外のドメイン外テキストにも一般化できるか？
• RQ4 訓練の目的関数を逆転させることで、一般文からより具体的・記述的な文を生成できるか？
• RQ5 生成された帰結連鎖を用いて、共有される意味的意味を捉えた意味的な意味のまとまりを示す有用な帰結グラフを構築できるか？

主な発見

• 手動でアノテートされたテストセットにおいて、モデルは正しい帰結文の生成で82%の正確性を達成し、ベースラインLSTMより10.3%の向上を示した。
• BLEUスコアではアテンションによる向上が僅かにしか見られないが、人的評価ではアテンションが事実の正確性と帰結品質を顕著に向上させていることが確認された。
• モデルは、共通の意味的意味に収束する共通の根文に至る解釈可能な帰結連鎖を効果的に生成でき、自然言語における強固な推論能力を示した。
• 帰結連鎖から構築された帰結グラフは、意味的に関連する文のクラスターや論理的推論の長い連鎖を明らかにした。
• 逆方向生成（前提-仮説ペアを逆転させて訓練）により、妥当でより具体的な文が生成され、データ拡張用途への有用性が示された。
• モデルはWikipedia、ニュース記事、科学的テキストなどドメイン外テキストに対しても良好に一般化しており、広範な適用可能性を示した。