[論文レビュー] Transformer-based End-to-End Question Generation.

Luis Enrico Lopez, Diane Kathryn Cruz+2 more|arXiv (Cornell University)|May 3, 2020

Topic Modeling参考文献 14被引用数 25

ひとこと要約

この論文は、答えのメタデータや追加メカニズムを必要とせず、複雑なRNNベースのSeq2Seqモデルを上回る、エンドツーエンドの質問生成のための単純で単一モデルのTransformerベースのアプローチを提案する。1つの事前学習済み言語モデルを微調整することで、最先端の結果が得られ、METEORスコアで8.62ポイント、ROUGE_Lスコアで14.27ポイントの向上を達成した。

ABSTRACT

Question Generation (QG) is an important task in Natural Language Processing (NLP) that involves generating questions automatically when given a context paragraph. While many techniques exist for the task of QG, they employ complex model architectures, extensive features, and additional mechanisms to boost model performance. In this work, we show that transformer-based finetuning techniques can be used to create robust question generation systems using only a single pretrained language model, without the use of additional mechanisms, answer metadata, and extensive features. Our best model outperforms previous more complex RNN-based Seq2Seq models, with an 8.62 and a 14.27 increase in METEOR and ROUGE_L scores, respectively. We show that it also performs on par with Seq2Seq models that employ answer-awareness and other special mechanisms, despite being only a single-model system. We analyze how various factors affect the model's performance, such as input data formatting, the length of the context paragraphs, and the use of answer-awareness. In addition, we also look into the modes of failure that the model experiences and identify the reasons why it fails.

研究の動機と目的

• 単一の事前学習済みTransformerモデルのみを用いて、堅牢でエンドツーエンドの質問生成システムを開発すること。
• 複雑なアーキテクチャや答えのメタデータ、広範な特徴工学の必要性を排除すること。
• 最小限で統一されたモデルが、より複雑で特化したSeq2Seqモデルと同等またはそれ以上の性能を発揮できるかどうかを評価すること。
• 入力フォーマット、文脈長、答えに配慮した設計の有無がモデルパフォーマンスに与える影響を分析すること。
• 生成された質問における障害モードを特定し、原因を特定・診断すること。

提案手法

• 標準的なエンコーダデコーダアテンションを用いて、質問生成タスクに単一の事前学習済みTransformerモデル（例：BERTや類似モデル）を微調整する。
• 明示的な答えトークンのマークや追加特徴を一切使用せず、文脈パラグラフと対応する答えのみを入力として使用する。
• 交差エントロピー損失と自己回帰的デコードを用いた標準的なシーケンス・トゥ・シーケンス学習を実施する。
• モデルを導くために、テンプレートベースの入力構築技術を適用する。
• METEORとROUGE-Lといった標準的な指標を用いてパフォーマンスを評価する。
• 文脈長や入力フォーマットの影響を評価するためにアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 答えに配慮しない、または補助的メカニズムを用いない単一の微調整済みTransformerモデルは、競争力のある質問生成パフォーマンスを達成できるか？
• RQ2 入力フォーマットと文脈長は、生成された質問の品質にどのように影響するか？
• RQ3 生成された質問における主な障害モードは何か、その原因は何か？
• RQ4 単一モデルのTransformerは、より複雑なRNNベースや答えに配慮したSeq2Seqモデルと比べて、どのようにパフォーマンスを発揮するか？
• RQ5 最小限のTransformerベースの設定において、答えに配慮することはどの程度パフォーマンスを向上させるか？

主な発見

• 提案された単一モデルのTransformerアプローチは、以前のRNNベースのSeq2SeqモデルをMETEORスコアで8.62ポイント、ROUGE_Lスコアで14.27ポイント上回った。
• 答えに配慮しない、追加のメカニズムを用いないにもかかわらず、こうした特徴を組み込んだより複雑なモデルと同等の性能を発揮した。
• 入力フォーマットはモデルパフォーマンスに顕著な影響を与え、構造的なテンプレートが生成品質を向上させた。
• 長い文脈パラグラフは、特に質問の関連性と流暢さにおいて、生成品質に悪影響を与えた。
• 一般的な障害モードには、質問の繰り返し、誤った質問タイプの生成、存在しない答えの幻覚現象が含まれる。
• コアファレンス解決や複雑な推論を要する質問では、答えが文脈に存在しても、モデルは特に困難を感じた。