[論文レビュー] A Unified Query-based Generative Model for Question Generation and Question Answering

Linfeng Song, Zhiguo Wang+1 more|arXiv (Cornell University)|Sep 4, 2017

Topic Modeling参考文献 41被引用数 50

ひとこと要約

この論文は、質問生成（QG）と生成的質問応答（QA）の両方に対して多視点クエリ–パッセージ照合を用いた統一エンコーダ–デコーダモデルを提案し、露出バイアスを減らすためのポリシー勾配微調整を行う。

ABSTRACT

We propose a query-based generative model for solving both tasks of question generation (QG) and question an- swering (QA). The model follows the classic encoder- decoder framework. The encoder takes a passage and a query as input then performs query understanding by matching the query with the passage from multiple per- spectives. The decoder is an attention-based Long Short Term Memory (LSTM) model with copy and coverage mechanisms. In the QG task, a question is generated from the system given the passage and the target answer, whereas in the QA task, the answer is generated given the question and the passage. During the training stage, we leverage a policy-gradient reinforcement learning algorithm to overcome exposure bias, a major prob- lem resulted from sequence learning with cross-entropy loss. For the QG task, our experiments show higher per- formances than the state-of-the-art results. When used as additional training data, the automatically generated questions even improve the performance of a strong ex- tractive QA system. In addition, our model shows bet- ter performance than the state-of-the-art baselines of the generative QA task.

研究の動機と目的

• 単一のフレームワーク内で質問生成（QG）と質問応答（QA）を共同で扱う動機付け。
• クエリ–パッセージ理解コンポーネントをモデル化し、複数の視点からパッセージに対するクエリを照合する。
• 与えられたパッセージとターゲット回答から質問を生成し、パッセージと質問から回答を生成する。
• シーケンス学習における露出バイアスを、強化学習とスケジュールドサンプリングを通じて対処する。
• QGの性能向上を示し、生成された質問がQAシステムを強化できることを示す。

提案手法

• Multi-Perspective Matching Encoder を用いたエンコーダ–デコーダ アーキテクチャ。 passage と query を four strategies（Full-Matching、Maxpooling-Matching、Attentive-Matching、Max-Attentive-Matching）から照合し、multi-perspective cosine function を用いて処理。
• Multi-Perspective Memory の構築として、passage contextual vectors を matching vectors と連結し、二次 BiLSTM を適用。"
• Attention-based LSTM decoder with copy (pointer) mechanism and coverage to generate output word-by-word.
• Copy mechanism to interpolate between generating from vocabulary and copying from the passage, controlled by a gating scalar g_t dependent on c_t, s_t, and x_{t-1}.
• Training with cross-entropy loss first, followed by policy-gradient reinforcement learning (REINFORCE with baseline) to optimize task-specific rewards (BLEU for QG, ROUGE for QA).
• Scheduled sampling-inspired sampling strategy during reinforcement learning to construct the sampled sequence from a mix of greedy and gold-standard outputs.]
• research_questions: [
• Can a unified encoder–decoder framework effectively handle both QG and generative QA tasks?
• Does using a multi-perspective matching encoder improve the quality of generated questions and answers compared to prior approaches?
• Can policy-gradient fine-tuning mitigate exposure bias and improve sequence-generation metrics for QG and QA?
• Do automatically generated questions improve the performance of an extractive QA system, particularly in low-resource data settings?

実験結果

リサーチクエスチョン

• RQ1 質問生成（QG）と生成的QAタスクの両方を効果的に扱える統一型エンコーダ–デコーダフレームワークは成立するか。
• RQ2 マルチ視点照合エンコーダの採用は、従来手法と比較して生成される質問と回答の品質を向上させるか。
• RQ3 ポリシー勾配による微調整は露出バイアスを緩和し、QGとQAのシーケンス生成指標を改善するか。
• RQ4 自動生成質問は、特にリソースが非常に少ないデータ設定において、抽出型QAシステムの性能を向上させるか。

主な発見

• 提案された MPQG モデルは、SQuAD の分割で従来のQG手法を上回り、マルチ視点クエリ理解の利点を示唆する。
• ポリシー勾配強化学習（MPQG+R）による微調整は、MPQG のみよりもQGの性能をさらに向上させる。
• MS-MARCO の description 部分集合での生成型QAにおいて、MPQG および MPQG+R は複数のベースラインより優れ、MPQG+R が比較対象の生成モデルの中で最も高い ROUGE-L を達成。
• MPQG+R 生成質問を用いて学習データを増強すると、抽出型QAの性能が向上し、特に非常に低リソースな場合（例：gold questions の10%）に顕著。
• モデルは回答を単語ごとに生成する能力を示し、回答がパッセージに verbatim に出現することを必須としない生成型QAの状況に対応。
• 全体として、QG におけるクエリ理解の重要性と露出バイアス対策としてのポリシー勾配訓練の有効性を裏付けている。