[論文レビュー] Addressing Semantic Drift in Question Generation for Semi-Supervised Question Answering

Shiyue Zhang, Mohit Bansal|arXiv (Cornell University)|Sep 13, 2019

Topic Modeling参考文献 62被引用数 11

ひとこと要約

本稿では、文脈および回答に根ざした生成質問を保つために、意味的ドリフトを軽減するための意味的強化報酬—質問の言い換え確率（QPP）と質問応答確率（QAP）—を提案する。これらの報酬を強化学習に組み合わせることで、SQuAD QGベンチマークで最先端の性能を達成し、新規の記事がなくても、BiDAFおよびBERT QAモデルの性能が向上する半教師付きデータ拡張によっても改善が得られる。

ABSTRACT

Text-based Question Generation (QG) aims at generating natural and relevant questions that can be answered by a given answer in some context. Existing QG models suffer from a "semantic drift" problem, i.e., the semantics of the model-generated question drifts away from the given context and answer. In this paper, we first propose two semantics-enhanced rewards obtained from downstream question paraphrasing and question answering tasks to regularize the QG model to generate semantically valid questions. Second, since the traditional evaluation metrics (e.g., BLEU) often fall short in evaluating the quality of generated questions, we propose a QA-based evaluation method which measures the QG model's ability to mimic human annotators in generating QA training data. Experiments show that our method achieves the new state-of-the-art performance w.r.t. traditional metrics, and also performs best on our QA-based evaluation metrics. Further, we investigate how to use our QG model to augment QA datasets and enable semi-supervised QA. We propose two ways to generate synthetic QA pairs: generate new questions from existing articles or collect QA pairs from new articles. We also propose two empirically effective strategies, a data filter and mixing mini-batch training, to properly use the QG-generated data for QA. Experiments show that our method improves over both BiDAF and BERT QA baselines, even without introducing new articles.

研究の動機と目的

• 文脈および回答から意味的に逸脱する生成質問を生じるテキストベースの質問生成（QG）における意味的ドリフト問題に対処すること。
• 人間アノテーターが作成したQAデータを模倣する能力を測るQAベースの指標を導入することで、QGモデルの評価を改善すること。
• 高品質なQGモデルを用いて合成QAペアを生成することで、半教師付き質問応答を向上させること。
• 合成QGデータをQA微調整に統合するための効果的な戦略—データフィルタリングおよびミックスミニバッチ学習—を開発すること。

提案手法

• 事前学習済みの言い換えモデルを用いて、生成された質問が正解の質問の言い換えである確率に基づく報酬QPPを導入する。
• 事前学習済みのQAモデルを用いて、与えられた答えが生成された質問を正しく応答する確率に基づく報酬QAPを導入する。
• QPPおよびQAPを用いた強化学習によりQGモデルを微調整し、文脈および答えとの意味的整合性を促進する。
• 2つの合成データ生成手法を提案：既存の文脈-答えペアから複数の質問を生成する方法、および新しいWikipedia記事からQAペアを生成する方法。
• 低品質な合成QAペアを除去するためのデータフィルタを実装し、QA微調整中に本物データと合成データのバランスを保つためにミックスミニバッチ学習を用いる。
• 下流のQAタスクにおける性能を評価するため、人間アノテーターが作成した質問生成をどれだけ模倣できるかを測るQAベースの指標を用いてQGモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 意味的強化報酬（QPPおよびQAP）は、質問生成における意味的ドリフトを効果的に低減できるか？
• RQ2 伝統的な指標（BLEUなど）と比較して、QAベースの評価指標はQGモデルの品質をより適切に反映するか？
• RQ3 QGモデルが生成する合成QAデータは、半教師付き質問応答の性能を向上させられるか？
• RQ4 合成QGデータをQA学習に統合する際に、性能の低下を防ぐために最も効果的な戦略は何か？

主な発見

• QPPおよびQAP報酬を併用したQGモデルは、SQuAD QGベンチマークで新たな最先端性能を達成し、BLEU-1が18.58ポイント、QAPが50.01ポイント向上した。
• QAベースの評価指標によると、提案手法は人間アノテーターの質問生成を最もよく模倣しており、H10データではベースラインを60.49/71.81ポイント上回った。
• QGが生成した合成データを用いた半教師付きQAでは、新規の記事がなくてもテストセットでBiDAF-QAベースラインが1.51/1.13ポイントの絶対的向上を示した。
• BERT-QGモデルをQAPのみの報酬で学習させた場合が、全体のQG性能が最も良く、QAPがQPPに比べて単独でもより効果的であることが示唆された。
• 強いBERT-QAベースラインに対しても、テストセットで1.19/0.56ポイントの絶対的向上を達成した。新規の記事が導入されない状況でも、0.95/0.13ポイントの向上が得られた。
• 合成データ量がH2–H4程度で性能が飽和することから、データ量ではなくQGの品質が向上の限界を決定していることが示唆された。