[論文レビュー] Putting the Horse Before the Cart:A Generator-Evaluator Framework for Question Generation from Text

Vishwajeet Kumar, Ganesh Ramakrishnan+1 more|arXiv (Cornell University)|Aug 15, 2018

Topic Modeling参考文献 30被引用数 12

ひとこと要約

本稿では、標準的な評価指標と訓練目的を一致させるように直接最適化することで、質の高い質問を生成するための新規なジェネレータ・エバリュエーターフレームワークを提案する。ジェネレータは、回答予測、コピーメカニズム、カバレッジを用いて文法的・意味的に整合性のある質問を生成する。一方、エバリュエータはテキスト適合性と回答適合性のためのカスタム報酬関数に加え、BLEU、ROUGE-L、DASを用い、SQuADで最先端の性能を達成する。

ABSTRACT

Automatic question generation (QG) is a useful yet challenging task in NLP. Recent neural network-based approaches represent the state-of-the-art in this task. In this work, we attempt to strengthen them significantly by adopting a holistic and novel generator-evaluator framework that directly optimizes objectives that reward semantics and structure. The {\it generator} is a sequence-to-sequence model that incorporates the {\it structure} and {\it semantics} of the question being generated. The generator predicts an answer in the passage that the question can pivot on. Employing the copy and coverage mechanisms, it also acknowledges other contextually important (and possibly rare) keywords in the passage that the question needs to conform to, while not redundantly repeating words. The {\it evaluator} model evaluates and assigns a reward to each predicted question based on its conformity to the {\it structure} of ground-truth questions. We propose two novel QG-specific reward functions for text conformity and answer conformity of the generated question. The evaluator also employs structure-sensitive rewards based on evaluation measures such as BLEU, GLEU, and ROUGE-L, which are suitable for QG. In contrast, most of the previous works only optimize the cross-entropy loss, which can induce inconsistencies between training (objective) and testing (evaluation) measures. Our evaluation shows that our approach significantly outperforms state-of-the-art systems on the widely-used SQuAD benchmark as per both automatic and human evaluation.

研究の動機と目的

• ニューラル質問生成における訓練目的（例：交差エントロピー損失）と評価指標（例：BLEU、ROUGE）の不一致を是正すること。
• ジェネレータに回答予測、キーワードコピーメカニズム、語彙カバレッジを明示的にモデル化することで、質問の質を向上させること。
• 標準的なNLP評価指標と整合する構造に敏感なタスク固有の報酬関数を用いた包括的なエバリュエータの設計。
• 質問-回答の意味的整合性とテキスト適合性に特化した新規な報酬を組み込むことで、自動評価と人的評価のギャップを埋めること。
• ジェネレータとエバリュエータの両方をエンドツーエンドで最適化することで、SQuADベンチマークで最先端の性能を達成すること。

提案手法

• ジェネレータは、入力文書から重要な回答を予測するためのポインタネットを統合したシーケンス・ツー・シーケンスモデルである。
• 文脈的に重要なキーワードを保持し、重複語の繰り返しを回避するため、コピーやカバレッジメカニズムを統合している。
• エバリュエータは、テキスト適合性（BLEU、GLEU、ROUGE-Lに基づく）、回答適合性、および正解質問との意味的類似性を測るための分解可能なアテンションスコア（DAS）の報酬関数のスイートを用いる。
• 報酬関数はエバリュエータから得られる報酬を用いて強化学習によりジェネレータを最適化し、訓練段階とテスト段階の評価指標を一致させる。
• 報酬関数は非分解的かつ構造に敏感に設計されており、訓練目的が現実の評価パフォーマンスを的確に反映することを保証する。
• システムはSQuADデータセット上でエンドツーエンドに学習され、アブレーションスタディにより各コンポONENTの寄与度が確認されている。

実験結果

リサーチクエスチョン

• RQ1 訓練目的を標準評価指標（例：BLEU、ROUGE）と一致させるジェネレータ・エバリュエーターフレームワークは、質問生成の質を向上させ得るか？
• RQ2 ジェネレータに回答予測、コピーメカニズム、カバレッジを組み込むことで、質問の文法的・意味的正しさはどのように向上するか？
• RQ3 テキスト適合性、回答適合性、DASといったQG固有の報酬関数は、自動評価と人的評価の両方のスコアにどの程度向上効果をもたらすか？
• RQ4 構造に敏感な報酬を用いた強化学習は、標準的な交差エントロピー訓練に比べて一般化性能を向上させるか？
• RQ5 文内依存関係（例：共参照、概念的リンク）はモデルのパフォーマンスにどのように影響を及ぼし、それらは軽減可能か？

主な発見

• QSSおよびANSS報酬関数を追加した本稿で提案するフレームワークは、SQuADテストセットでBLEU-4スコア79.3を達成し、以前のSOTAモデルを顕著に上回った。
• 人的評価では、QSS+ANSS報酬を用いたモデルが、文法的正しさで平均78.3点、意味的正しさで0.68点、関連性で74.6点を記録し、全分野で質の向上が顕著に確認された。
• DASを唯一の報酬関数として用いたモデルは、高い意味的類似度を示したが、自動評価指標スコアは低く、人的評価と自動評価の間でトレードオフが生じていることが示された。
• ROUGEとQSS+ANSSの組み合わせは、F1スコア72.0を達成し、精度中心の指標（BLEU）に依存するモデルよりもリ콜性能が優れていた。
• 誤差解析の結果、主な失敗要因は共参照や概念的リンクといった未解決の文内依存関係に起因しており、今後の研究における主要な課題であることが示された。
• 本フレームワークは、カスタム報酬関数を用いて訓練目的をテスト時の評価指標と一致させることで、自動評価と人的評価の両方で一貫した向上が達成されることを示した。