[論文レビュー] Automating Reading Comprehension by Generating Question and Answer Pairs

Vishwajeet Kumar, Kireeti Boorla+3 more|arXiv (Cornell University)|Mar 7, 2018

Topic Modeling参考文献 17被引用数 12

ひとこと要約

本稿では、まずポインタネットを用いて重要な回答スパンを特定し、その後、豊富な言語的特徴量と回答エンコードを組み込んだシーケンス・トゥ・シーケンスモデルにより文脈的に関連性のある質問を生成することで、高品質な質問・回答ペアを自動生成する二段階型ニューラルフレームワークを提案する。このアプローチは、自動評価指標および人的評価の両面で最先端手法を著しく上回り、BLEUスコアで最大4ポイントの向上と、質問生成における関連性が12.3%向上する。

ABSTRACT

Neural network-based methods represent the state-of-the-art in question generation from text. Existing work focuses on generating only questions from text without concerning itself with answer generation. Moreover, our analysis shows that handling rare words and generating the most appropriate question given a candidate answer are still challenges facing existing approaches. We present a novel two-stage process to generate question-answer pairs from the text. For the first stage, we present alternatives for encoding the span of the pivotal answer in the sentence using Pointer Networks. In our second stage, we employ sequence to sequence models for question generation, enhanced with rich linguistic features. Finally, global attention and answer encoding are used for generating the question most relevant to the answer. We motivate and linguistically analyze the role of each component in our framework and consider compositions of these. This analysis is supported by extensive experimental evaluations. Using standard evaluation metrics as well as human evaluations, our experimental results validate the significant improvement in the quality of questions generated by our framework over the state-of-the-art. The technique presented here represents another step towards more automated reading comprehension assessment. We also present a live system \footnote{Demo of the system is available at \url{https://www.cse.iitb.ac.in/~vishwajeet/autoqg.html}.} to demonstrate the effectiveness of our approach.

研究の動機と目的

• 既存の質問生成システムが質問生成にのみ焦点を当てており、質問と回答を同時に生成しないというギャップを解消すること。
• 文法的・意味的正しさを向上させるために、回答エンコードと豊富な言語的特徴量を統合することで、生成された質問の品質を向上させること。
• 質問生成のための最も関連性の高い回答スパンを文に特定するフレームワークを開発すること。これは、希少語や回答の関連性に関する課題に対処する。
• 自動評価指標と人的評価の両方を用いて、回答エンコードと言語的特徴量の質問品質への影響を評価すること。

提案手法

• 二段階アーキテクチャ：まず、ポインタネットが入力文における最も関連性の高い回答スパンを特定する。
• 第二に、シーケンス・トゥ・シーケンスモデルが、入力文、予測された回答スパン、および豊富な言語的特徴量（例：品詞タグ、依存解析、固有表現）を条件として質問を生成する。
• 回答エンコードは、グローバルアテンション機構を介してデコーダーに統合され、質問とターゲット回答の間の関連性を向上させる。
• デコーダーは入力文と回答表現の両方に注目するように変更されており、回答に注意を向けた質問生成を強化する。
• 品詞タグ、依存関係、固有表現認識などの言語的特徴量は、入力表現を豊かにし、一般化性能を向上させるために使用される。
• クロスエントロピー損失を用いてエンド・トゥ・エンドで学習され、BLEU、METEOR、ROUGE-L、人的評価を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 質問と回答スパンを同時に検出する二段階型ニューラルフレームワークは、従来手法と比較して質問の品質を向上させることができるか？
• RQ2 豊富な言語的特徴量は、生成された質問の文法的・意味的正しさにどのように影響するか？
• RQ3 回答エンコードは、生成された質問がターゲット回答に対してどの程度関連性を持つように向上させるか？
• RQ4 正解ラベルに依存するのではなく、最も適切な回答スパンを予測することで、質問生成のパフォーマンスが向上するか？
• RQ5 言語的特徴量と回答エンコードの異なる組み合わせは、質問・回答ペア全体の品質にどのような影響を及ぼすか？

主な発見

• 言語的特徴量と正解ラベルの回答エンコードを組み合わせたモデル QG+F+GAE は、すべての指標で最高のパフォーマンスを示し、最先端の QG モデルを最大4 BLEUポイント上回った。
• 言語的特徴量を追加しただけでも、文法的正しさが2%向上、意味的正しさが9%向上、関連性が12.3%向上した。
• 回答エンコードは質問の関連性を著しく向上させた。回答エンコードが無いモデルでは、言語的特徴量が存在しても質問の品質が低かった。
• 固有表現のみを回答候補として使用したモデル QG+F+NE は、性能が低かった（回答の50%しか固有表現でないため）。これは、固有表現に依存するだけのアプローチの限界を示している。
• 人的評価により、提案フレームワークが生成する質問は、既存システムの質問よりも自然で、関連性があり、意味的に正確であることが確認された。
• 本フレームワークは、回答スパン検出と質問生成を同時にモデリングすることで、より高品質で文脈的に適切な質問・回答ペアが得られることを示している。