[논문 리뷰] OneStop QAMaker: Extract Question-Answer Pairs from Text in a One-Stop Approach

Shaobo Cui, Xintong Bao외 5명|arXiv (Cornell University)|2021. 02. 24.

Topic Modeling참고 문헌 39인용 수 11

한 줄 요약

이 논문은 파ipel라인 방법의 호환성 문제를 해결하기 위해 단일 통합 프레임워크 내에서 문서로부터 질문을 생성하고 답변 구간을 추출하는 일괄 처리 신경망 시퀀스-투-시퀀스 모델인 OneStop QAMaker를 제안한다. 이 모델은 SQuAD, NewsQA, DuReader에서 최고 성능을 기록하며 인간 평가 점수 1.67를 기록했고, 다중 모델 파이프라인 대비 모델 복잡도와 배포 오버헤드를 크게 줄여 효율성이 뛰어나다.

ABSTRACT

Large-scale question-answer (QA) pairs are critical for advancing research areas like machine reading comprehension and question answering. To construct QA pairs from documents requires determining how to ask a question and what is the corresponding answer. Existing methods for QA pair generation usually follow a pipeline approach. Namely, they first choose the most likely candidate answer span and then generate the answer-specific question. This pipeline approach, however, is undesired in mining the most appropriate QA pairs from documents since it ignores the connection between question generation and answer extraction, which may lead to incompatible QA pair generation, i.e., the selected answer span is inappropriate for question generation. However, for human annotators, we take the whole QA pair into account and consider the compatibility between question and answer. Inspired by such motivation, instead of the conventional pipeline approach, we propose a model named OneStop generate QA pairs from documents in a one-stop approach. Specifically, questions and their corresponding answer span is extracted simultaneously and the process of question generation and answer extraction mutually affect each other. Additionally, OneStop is much more efficient to be trained and deployed in industrial scenarios since it involves only one model to solve the complex QA generation task. We conduct comprehensive experiments on three large-scale machine reading comprehension datasets: SQuAD, NewsQA, and DuReader. The experimental results demonstrate that our OneStop model outperforms the baselines significantly regarding the quality of generated questions, quality of generated question-answer pairs, and model efficiency.

연구 동기 및 목표

• 파이프라인 기반 QA 쌍 생성 방법에서 질문 생성과 답변 추출 간의 호환성 문제를 해결하기 위해.
• 질문과 답변을 순차적으로가 아니라 함께 모델링하여 생성된 질문-답변 쌍의 품질과 일관성을 향상시키기 위해.
• 다중 모델 파이프라인 대신 단일 통합 모델을 도입하여 훈련 및 배포 효율성을 향상시키기 위해.
• 오류 전파와 모호한 답변 선택을 최소화하여 온라인 배포 시 인간 간섭을 줄이기 위해.
• 산업적 NLP 응용 분야에서 QA 쌍 생성을 위한 엔드 투 엔드 공동 학습의 효과성을 탐색하기 위해.

제안 방법

• 문서로부터 질문 생성과 답변 구간 추출을 동시에 수행하는 일괄 처리 엔드 투 엔드 시퀀스-투-시퀀스 트랜스포머 모델을 제안한다.
• 입력 문서를 인코딩하기 위한 공통 인코더와 동시에 질문과 답변 구간을 생성하기 위한 디코더를 사용한다.
• 디코더가 문서와 예측된 답변 구간에 조건화되어 정렬을 향상시키기 위해 다중 작업 학습을 적용한다.
• 훈련 중에 답변 구간을 미분 가능한 방식으로 선택할 수 있도록 소프트 답변 추출 메커니즘을 도입한다.
• 문서에서 정확한 어휘를 복사함으로써 답변 구간 정확도를 향상시키기 위해 복사 메커니즘을 활용한다.
• 문서에 주어진 정확한 질문-답변 쌍의 가능도를 최대화하는 공동 목적 함수를 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합 모델이 파이프라인 방법보다 질문 생성과 호환 가능한 답변 구간 추출을 더 효과적으로 동시에 수행할 수 있는가?
• RQ2 질문 생성과 답변 추출 간의 공동 학습이 생성된 QA 쌍의 호환성과 일관성에 기여하는가?
• RQ3 질문 품질, 답변 정확도, 모델 효율성 측면에서 일괄 처리 접근 방식이 파이프라인 기반 베이스라인 대비 어떻게 비교되는가?
• RQ4 BERT 기반 답변 추출을 통합할 경우 OneStop 모델의 성능 향상 정도는 어느 정도인가?
• RQ5 다단계 파이프라인 대비 제안된 모델이 산업적 배포 시 인간의 노력과 오류 누적을 얼마나 줄일 수 있는가?

주요 결과

• OneStop은 SQuAD 데이터셋에서 인간 평가자 점수 1.41을 기록하며 모든 파이프라인 기반 베이스라인을 초월해 질문 생성 품질에서 뛰어난 성능을 보였다.
• 향상된 버전인 OneStop + BERT-MRC는 인간 평가 점수 1.67를 기록하여 더 강력한 답변 추출 구성 요소를 통합한 효과를 입증했다.
• OneStop는 SQuAD에서 모델 파라미터를 1.42억 개로 줄였고, DuReader에서는 1.21억 개로 줄여 QA 쌍 생성을 위한 가장 가벼운 모델 중 하나가 되었다.
• 모델는 뚜렷한 효율성 향상을 보였다: 다중 연결된 모델 대신 하나의 모델만 사용하여 훈련 및 배포 복잡도를 감소시켰다.
• 사례 연구 결과, OneStop의 답변 구간은 주로 BERT-MRC와 일관성이 있었지만, 때로는 더 넓은 맥락을 포함하여 맥락 일관성을 향상시켰다.
• BART-QG + BERT-MRC(1.61)에서 OneStop + BERT-MRC(1.67)로의 향상은 OneStop의 답변 추출 모듈이 질문 생성 품질 향상에 기여한다는 것을 확인시켰다.