[논문 리뷰] Question Answering and Question Generation as Dual Tasks

Duyu Tang, Nan Duan외 3명|arXiv (Cornell University)|2017. 06. 07.

Topic Modeling참고 문헌 27인용 수 170

한 줄 요약

본 논문은 QA와 QG를 이중 태스크로 공동 학습하여 둘 간의 확률적 상관관계를 활용하고, MARCO, SQUAD, WikiQA 전반에서 두 태스크의 성능을 개선하며, QA는 강력한 기준선에 근접하고 QG는 BLEU-4에서 이득을 얻는다.

ABSTRACT

We study the problem of joint question answering (QA) and question generation (QG) in this paper. Our intuition is that QA and QG have intrinsic connections and these two tasks could improve each other. On one side, the QA model judges whether the generated question of a QG model is relevant to the answer. On the other side, the QG model provides the probability of generating a question given the answer, which is a useful evidence that in turn facilitates QA. In this paper we regard QA and QG as dual tasks. We propose a training framework that trains the models of QA and QG simultaneously, and explicitly leverages their probabilistic correlation to guide the training process of both models. We implement a QG model based on sequence-to-sequence learning, and a QA model based on recurrent neural network. As all the components of the QA and QG models are differentiable, all the parameters involved in these two models could be conventionally learned with back propagation. We conduct experiments on three datasets. Empirical results show that our training framework improves both QA and QG tasks. The improved QA model performs comparably with strong baseline approaches on all three datasets.

연구 동기 및 목표

• 잠재적 상호 이익을 가진 본질적으로 연결된 이중 태스크로서 QA와 QG 연구의 필요성을 제시한다.
• 두 모델의 확률적 관계를 통해 정규화하는 공동 학습 프레임워크를 제안한다.
• 초기부터 엔드투엔드로 미분가능한 QA와 QG 모델의 학습을 시연한다.
• QA와 QG 성능 개선을 평가하기 위해 세 개의 데이터셋에서 프레임워크를 평가한다.

제안 방법

• 질문-답변 쌍의 결합 표현을 위해 양방향 처리와 순환신경망에 기반한 QA 모델을 구현한다.
• 답변 문장에서 질문을 생성하기 위해 어텐션이 있는 시퀀스-투-시퀀스 QG 모델을 구현한다.
• P(a)P(q|a;θqg) ≈ P(q)P(a|q;θqa)를 강제하는 이중성 기반 정규화 항을 공식화하고 제곱 오차를 최소화한다.
• 백프로파게이션으로 업데이트되는 QA, QG 및 이중 정규화 항의 손실 구성요소를 사용하여 QA와 QG 모델을 공동 학습한다.
• P_a(a)와 P_q(q)로 매끄러운 바이그램 언어 모델을 사용하고, 학습 중에 P(a|q;θqa)를 근사하기 위해 답변 후보를 샘플링한다.

실험 결과

연구 질문

• RQ1 이중 학습이 QA를 별도로 QA와 QG를 각각 학습하는 것보다 성능을 향상시키는가?
• RQ2 BLEU-4로 측정한 QG 성능이 이중 학습으로 향상되는가?
• RQ3 다양한 데이터셋(MARCO, SQUAD, WikiQA)에서 이중 프레임워크의 QA 및 QG 성능은 어떠한가?
• RQ4 생성된 질문과 QA 점수에 대한 이중 학습의 질적 효과는 무엇인가?

주요 결과

• 듀얼 QA는 SQUAD에서 Basic QA 대비 QA 성능을 향상시키고 MARCO에서는 강력한 기준선과 비슷하다.
• 듀얼 QG는 이중 프레임워크로 학습될 때 MARCO, SQUAD, WikiQA에서 BLEU-4 이득을 보인다.
• WikiQA에서 듀얼 QA는 강력한 기준선 방법들과 비슷한 성능을 달성한다.
• 공동 학습 프레임워크는 개별적으로 학습된 모델들에 비해 QA와 QG 모두에서 향상을 보인다.
• 듀얼 QG에서 생성된 질문은 올바른 질문과 더 정보적으로 겹치는 경향이 있어 QA에 도움이 된다.
• QG의 BLEU-4 점수는 전체적으로 상대적으로 낮지만 듀얼 학습에서 일관된 개선을 보인다.