[論文レビュー] A framework for automatic question generation from text using deep reinforcement learning.

Vishwajeet Kumar, Ganesh Ramakrishnan+1 more|arXiv (Cornell University)|Aug 15, 2018

Topic Modeling参考文献 3被引用数 37

ひとこと要約

本稿では、文脈的・構造的質を向上させるために生成器と評価者を統合的に最適化する、新しい深層強化学習フレームワークを提案する。構造および意味に配慮したシーケンス・ツー・シーケンス生成にコピーやカバレッジ機構を組み込み、BLEU、GLEU、ROUGE-Lに基づくQG特化型報酬関数を用いた訓練により、自動評価および人間評価の両方でSQuADベンチマークで最先端の性能を達成した。

ABSTRACT

Automatic question generation (QG) is a useful yet challenging task in NLP. Recent neural network-based approaches represent the state-of-the-art in this task. In this work, we attempt to strengthen them significantly by adopting a holistic and novel generator-evaluator framework that directly optimizes objectives that reward semantics and structure. The {\it generator} is a sequence-to-sequence model that incorporates the {\it structure} and {\it semantics} of the question being generated. The generator predicts an answer in the passage that the question can pivot on. Employing the copy and coverage mechanisms, it also acknowledges other contextually important (and possibly rare) keywords in the passage that the question needs to conform to, while not redundantly repeating words. The {\it evaluator} model evaluates and assigns a reward to each predicted question based on its conformity to the {\it structure} of ground-truth questions. We propose two novel QG-specific reward functions for text conformity and answer conformity of the generated question. The evaluator also employs structure-sensitive rewards based on evaluation measures such as BLEU, GLEU, and ROUGE-L, which are suitable for QG. In contrast, most of the previous works only optimize the cross-entropy loss, which can induce inconsistencies between training (objective) and testing (evaluation) measures. Our evaluation shows that our approach significantly outperforms state-of-the-art systems on the widely-used SQuAD benchmark as per both automatic and human evaluation.

研究の動機と目的

• 自動質問生成（QG）における訓練目的と評価指標の乖離を是正し、モデルの挙動の不一致を解消すること。
• 真値の質問パターンへの適合を直接最適化することで、生成された質問の意味的・構造的整合性を向上させること。
• 強化学習を用いて訓練と評価を統合する包括的な生成器・評価者フレームワークを構築すること。
• 生成された質問のテキスト適合性と回答適合性を評価するQG特化型報酬関数を導入すること。
• コピーやカバレッジ機構を用いて、キーパassage用語の冗長性を低減し、カバレッジを向上させること。

提案手法

• 生成器は、コピーやカバレッジ機構を強化したシーケンス・ツー・シーケンスモデルを用い、文章から希少で文脈的に重要なキーワードを保持する。
• 生成器は、質問がピボットできる回答スパンを予測するように訓練され、回答の関連性を保証する。
• 評価者により、BLEU、GLEU、ROUGE-Lなどの指標を用いて真値質問との構造的類似度に基づき報酬が割り当てられる。
• 2つの新規報酬関数を導入：1つはテキスト適合性（実際の質問のスタイルや形式にどの程度適合しているか）、もう1つは回答適合性（予測された回答とどの程度整合しているか）。
• 深層強化学習を用いて、評価者からの報酬を用いて生成器を最適化し、訓練目的を下流の評価指標と一致させる。
• 訓練プロセスは評価指標を直接最適化するよう設計されており、交差エントロピー損失に依存するのではなく、訓練と推論の性能差を低減する。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのフレームワークは、標準的なシーケンス・ツー・シーケンスモデルと比較して、自動生成質問の意味的・構造的質を向上させることができるか？
• RQ2 特にテキスト適合性と回答適合性を測るQG特化型報酬関数は、生成プロセスをどの程度効果的に導くことができるか？
• RQ3 コピーやカバレッジ機構を組み込むことで、キーパssage用語の保持がどの程度向上し、冗長性が低減されるか？
• RQ4 BLEU や ROUGE-L などの評価指標と訓練目的を一致させることで、SQuAD などの標準ベンチマークで性能が向上するか？
• RQ5 本稿で提案する生成器・評価者フレームワークは、自動評価および人間評価の両方において、最先端のQGシステムと比較して優れているか？

主な発見

• 提案フレームワークは、自動評価においてSQuADベンチマークで最先端のシステムを大きく上回り、標準指標で優れた性能を示した。
• 人間評価では、本フレームワークで生成された質問は、既存手法に比べてより自然で関連性が高く、構造的にも正確であると確認された。
• QG特化型報酬関数の使用により、回答適合性とテキスト適合性が向上し、幻覚や不適合な内容が低減された。
• コピーやカバレッジ機構の統合により、文章からのキーワードの保持が向上し、冗長または不適切な語の使用が最小限に抑えられた。
• 強化学習の報酬を標準NLP評価指標と一致させることで、訓練目的と評価指標の乖離を効果的に是正した。
• 交差エントロピー損失に依存せず、報酬ベースの訓練によりSQuADで最先端の結果を達成した。質問生成における報酬ベース訓練の有効性を示した。