[論文レビュー] Towards Automatic Generation of Questions from Long Answers

Shlok Mishra, Pranav Goel+4 more|arXiv (Cornell University)|Apr 10, 2020

Topic Modeling参考文献 57被引用数 7

ひとこと要約

本稿は、Google Natural Questionsデータセットを用いて、4文以上の長文を対象とした自動質問生成（AQG）のための最初のベンチマークを紹介している。既存のAQGモデル、特にトランスフォーマーに基づくモデルが、回答長が増えるにつれて性能を発揮しないことが示された。トランスフォーマーはRNNよりも自動評価および人間評価の両方で優れているが、長文の文脈では依然として性能が低下するため、長文QGは依然として挑戦的な未解決問題である。

ABSTRACT

Automatic question generation (AQG) has broad applicability in domains such as tutoring systems, conversational agents, healthcare literacy, and information retrieval. Existing efforts at AQG have been limited to short answer lengths of up to two or three sentences. However, several real-world applications require question generation from answers that span several sentences. Therefore, we propose a novel evaluation benchmark to assess the performance of existing AQG systems for long-text answers. We leverage the large-scale open-source Google Natural Questions dataset to create the aforementioned long-answer AQG benchmark. We empirically demonstrate that the performance of existing AQG methods significantly degrades as the length of the answer increases. Transformer-based methods outperform other existing AQG methods on long answers in terms of automatic as well as human evaluation. However, we still observe degradation in the performance of our best performing models with increasing sentence length, suggesting that long answer QA is a challenging benchmark task for future research.

研究の動機と目的

• 長文（4文以上）からの自動質問生成（AQG）のための大規模データセットおよびベンチマークの不足に対処すること。
• 教育、医療、情報検索分野で一般的な長文入力に対して、既存のAQGモデルの性能を評価すること。
• 特にコピーメカニズムに依存する既存のAQG技術が、長文設定にうまく一般化されるかを調査すること。
• 要約や構造的特徴（例：最初の文）を補助入力として用いることで、長文QGの質が向上するかを検討すること。

提案手法

• Wikipediaの記事から抽出された長文の回答スパンを含むGoogle Natural Questions（NQ）データセットを用いて、長文AQGベンチマークを構築した。
• RNNベースのseq2seqモデルとトランスフォーマーに基づくモデルを含む、多様な既存のAQGモデルを長文設定で評価した。
• 複数のソースを用いたトランスフォーマー・アーキテクチャを適用し、長文に加えて追加の信号（例：要約や最初の文）を入力として用いて生成を改善した。
• 自動評価指標（BLEU、ROUGE）と人間評価を用いて、異なる回答長における質問の質を評価した。
• 短文生成で成功を収めたコピーメカニズムとポインタネットの有効性を、長文生成設定と比較した。

実験結果

リサーチクエスチョン

• RQ1 既存のAQGモデルは、短文と比較して、長文（4文以上）からの質問生成においてどのように性能を発揮するか？
• RQ2 トランスフォーマーに基づくモデルは、長文質問生成設定においてRNNベースのモデルを上回るか？
• RQ3 要約文や回答の最初の文を補助入力として組み込むことで、長文の質問生成の質が向上するか？
• RQ4 短文AQGで効果的だったコピーメカニズムが、なぜ長文生成では失敗するか、または性能を低下させるのか？

主な発見

• トランスフォーマーに基づくモデルは、自動評価指標（BLEU、ROUGE）および人間評価の両方において、長文質問生成でRNNベースのモデルを顕著に上回っている。
• すべてのAQGモデル、特に最高性能のトランスフォーマーでさえも、回答長が増えるにつれて性能が低下するため、長文QGは依然として挑戦的な課題である。
• 短文生成で効果を発揮するコピーメカニズムは、長文設定では役立たずであり、場合によっては性能を悪化させる。
• 回答の要約文や最初の文を補助入力として用いても、モデルの性能は向上せず、長文文脈での生成においてこのような信号の有効性は限定的である。
• 本研究は、Google Natural Questionsコーパスを用いた長文質問生成のための包括的なベンチマークを確立した。今後の研究が未開拓分野に進めるよう支援する。