[논문 리뷰] A Unified Query-based Generative Model for Question Generation and Question Answering

Linfeng Song, Zhiguo Wang외 1명|arXiv (Cornell University)|2017. 09. 04.

Topic Modeling참고 문헌 41인용 수 50

한 줄 요약

이 논문은 다중 관점 쿼리-본문 매칭을 활용하여 질문 생성(QG)과 생성적 질의응답(QA) 모두를 다루는 통합 인코더–디코더 모델과 노출 편향을 줄이기 위한 정책경사 미세조정을 제시한다.

ABSTRACT

We propose a query-based generative model for solving both tasks of question generation (QG) and question an- swering (QA). The model follows the classic encoder- decoder framework. The encoder takes a passage and a query as input then performs query understanding by matching the query with the passage from multiple per- spectives. The decoder is an attention-based Long Short Term Memory (LSTM) model with copy and coverage mechanisms. In the QG task, a question is generated from the system given the passage and the target answer, whereas in the QA task, the answer is generated given the question and the passage. During the training stage, we leverage a policy-gradient reinforcement learning algorithm to overcome exposure bias, a major prob- lem resulted from sequence learning with cross-entropy loss. For the QG task, our experiments show higher per- formances than the state-of-the-art results. When used as additional training data, the automatically generated questions even improve the performance of a strong ex- tractive QA system. In addition, our model shows bet- ter performance than the state-of-the-art baselines of the generative QA task.

연구 동기 및 목표

• 단일 프레임워크 내에서 QG(Question Generation)와 QA(Question Answering)를 공동으로 다루는 것을 동기 부여한다.
• 다중 관점에서 쿼리를 본문과 매칭하는 쿼리–본문 이해 구성요소를 모델링한다.
• 주어진 본문과 목표 정답으로부터 질문을 생성하고, 본문과 질문으로부터 정답을 생성할 수 있도록 한다.
• 순차 학습에서의 노출 편향을 강화 학습 및 스케줄 샘플링을 통해 해결한다.
• 향상된 QG 성능을 보여주고 생성된 질문이 QA 시스템을 향상시킬 수 있음을 보인다.

제안 방법

• 다중 관점 코사인 함수를 사용하여 네 가지 전략(Full-Matching, Maxpooling-Matching, Attentive-Matching, Max-Attentive-Matching)을 통해 본문과 쿼리를 매칭하는 Multi-Perspective Matching Encoder가 있는 인코더–디코더 아키텍처.
• 일치 벡터와 함께 본문 맥 context 벡터를 연결하고 보조 BiLSTM을 적용하여 다중 관점 메모리를 구성한다.
• 주의 기반 LSTM 디코더와 단어를 하나씩 생성하기 위해 복사(pointer) 메커니즘과 커버리지를 사용한다.
• 단어 집합에서 생성과 본문에서의 복사를 보간하는 복사 메커니즘으로, g_t라는 게이팅 스칼라가 c_t, s_t, 및 x_{t-1}에 의존하여 제어된다.
• 먼저 교차 엔트로피 손실로 학습한 뒤, 태스크 특화 보상(BLEU는 QG용, ROUGE는 QA용)을 최적화하기 위해 베이스라인이 있는 REINFORCE와 같은 정책 경사 강화 학습으로 학습한다.
• 강화 학습 동안 스케줄 샘플링에 영감을 받은 샘플링 전략으로, 게리디(탐욕적) 출력과 실제 정답 출력의 혼합으로 샘플 시퀀스를 구성한다.

실험 결과

연구 질문

• RQ1 단일 인코더–디코더 프레임워크가 QG와 생성적 QA 두 가지 작업을 효과적으로 처리할 수 있는가?
• RQ2 다중 관점 매칭 인코더를 사용하는 것이 이전 접근법에 비해 생성된 질문과 정답의 품질을 향상시키는가?
• RQ3 정책 경사 미세조정이 노출 편향을 완화하고 QG와 QA의 시퀀스 생성 지표를 향상시키는가?
• RQ4 자동으로 생성된 질문이 특히 저자원 데이터 설정에서 추출형 QA 시스템의 성능을 향상시키는가?

주요 결과

• 제안된 MPQG 모델은 SQuAD 분할에서 기존 QG 방법들을 능가하여 다중 관점 쿼리 이해의 이점을 시사한다.
• 정책-경사 강화 학습(MPQG+R)으로의 미세 조정은 MPQG만으로는 얻지 못한 QG 성능을 더 개선한다.
• MS-MARCO 설명 하위집합의 생성형 QA에서 MPQG와 MPQG+R이 여러 베이스라인을 능가하고, MPQG+R이 비교된 생성 모델들 중 최상의 ROUGE-L을 달성한다.
• MPQG+R으로 생성된 질문을 학습 데이터 확충에 사용하면 추출형 QA의 성능이 향상되며, 특히 매우 낮은 자원 수준에서 더 큰 혜택을 보인다(예: 골드 질문의 10%).
• 모델은 정답이 본문에 verbatim으로 존재할 필요 없이 단어 단위로 정답을 생성하는 능력을 보여주며, 생성형 QA 시나리오를 다룬다.
• 전반적으로 결과는 QG를 위한 쿼리 이해의 중요성과 노출 편향에 대한 정책 경사 학습의 효과를 시사한다.