[論文レビュー] Question Answering and Question Generation as Dual Tasks

Duyu Tang, Nan Duan+3 more|arXiv (Cornell University)|Jun 7, 2017

Topic Modeling参考文献 27被引用数 170

ひとこと要約

本論文は、QAとQGを双対タスクとして共同訓練し、それらの確率的相関を利用することにより、MARCO、SQUAD、および WikiQA の各データセットで両タスクを改善し、QAは強力なベースラインに対して競合し、QGはBLEU-4での向上を得る。

ABSTRACT

We study the problem of joint question answering (QA) and question generation (QG) in this paper. Our intuition is that QA and QG have intrinsic connections and these two tasks could improve each other. On one side, the QA model judges whether the generated question of a QG model is relevant to the answer. On the other side, the QG model provides the probability of generating a question given the answer, which is a useful evidence that in turn facilitates QA. In this paper we regard QA and QG as dual tasks. We propose a training framework that trains the models of QA and QG simultaneously, and explicitly leverages their probabilistic correlation to guide the training process of both models. We implement a QG model based on sequence-to-sequence learning, and a QA model based on recurrent neural network. As all the components of the QA and QG models are differentiable, all the parameters involved in these two models could be conventionally learned with back propagation. We conduct experiments on three datasets. Empirical results show that our training framework improves both QA and QG tasks. The improved QA model performs comparably with strong baseline approaches on all three datasets.

研究の動機と目的

• 相互に利益をもたらす可能性をもつ、本質的に結びついた二重タスクとしてのQAとQGの研究を動機づける。
• 確率的関係を介して両方のモデルを正則化する共同訓練フレームワークを提案する。
• 初期状態からQAとQGモデルのエンドツーエンドの微分可能な訓練を実証する。
• QAとQGの性能の改善を評価するために、3つのデータセットでフレームワークを評価する。

提案手法

• 質問回答ペアの連結表現を用い、双方向処理を持つ再帰ニューラルネットワークに基づくQAモデルを実装する。
• 回答文から質問を生成するためにアテンション機構を備えたシーケンスツーシーケンスのQGモデルを実装する。
• P(a)P(q|a;θqg) ≈ P(q)P(a|q;θqa) を強制し、その二乗誤差を最小化する双対性ベースの正則化項を定式化する。
• QAとQGの損失成分と双対正則化を用いて、QAとQGモデルを共同訓練し、バックプロパゲーションで更新する。
• P_a(a)およびP_q(q)として平滑化されたビグラム言語モデルを用い、訓練中にP(a|q;θqa)を近似するために回答候補をサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 双対訓練は、個別にQAとQGを訓練した場合と比べてQAの性能を向上させるか？
• RQ2 BLEU-4で測定されるQGの性能を双対訓練は向上させるか？
• RQ3 多様なデータセット（MARCO、SQUAD、WikiQA）におけるQAとQGについて、双対フレームワークはどの程度機能するか？
• RQ4 生成された質問とQAスコアリングに対する双対訓練の定性的影響は何か？

主な発見

• Dual QAはSQUADでBasic QAよりQA性能を改善し、MARCOでは強力なベースラインと同等の結果を示す。
• Dual QGはDualフレームワークで訓練した場合、MARCO、SQUAD、WikiQAのいずれもでBLEU-4の向上を示す。
• WikiQAでは、デュアル QA は強力なベースライン手法と同等の結果を達成する。
• 共同訓練フレームワークは、個別に訓練されたモデルよりもQAとQGの両方で改善をもたらす。
• Dual QGから生成された質問は、正しい質問とより情報的な重複を共有する傾向があり、QAを支援する。
• QGのBLEU-4スコアは全体的に低いままだが、デュアル訓練で一貫した改善を示す。