[논문 리뷰] Synthetic QA Corpora Generation with Roundtrip Consistency

Chris Alberti, Daniel Andor외 3명|arXiv (Cornell University)|2019. 06. 12.

Topic Modeling참고 문헌 15인용 수 12

한 줄 요약

이 논문은 원본 질문-답변 쌍과 예측된 답변이 일치하는 경우에만 유지되는 라운드트립 일致성 필터링을 사용하여 고품질의 합성 질문-답변 코퍼스를 생성하는 방법을 제안한다. 질문은 문맥에서 생성되고, 같은 문맥에서 답변이 추출되며, 원본 답변과 예측된 답변이 일치하는 쌍만 유지된다. 이 방법은 합성 데이터에서 BERT 기반 모델을 미리 훈련시킴으로써 NQ에서 최신 기준 성능을 달성하고, SQuAD2에서는 인간 수준의 성능을 달성한다.

ABSTRACT

We introduce a novel method of generating synthetic question answering corpora by combining models of question generation and answer extraction, and by filtering the results to ensure roundtrip consistency. By pretraining on the resulting corpora we obtain significant improvements on SQuAD2 and NQ, establishing a new state-of-the-art on the latter. Our synthetic data generation models, for both question generation and answer extraction, can be fully reproduced by finetuning a publicly available BERT model on the extractive subsets of SQuAD2 and NQ. We also describe a more powerful variant that does full sequence-to-sequence pretraining for question generation, obtaining exact match and F1 at less than 0.1% and 0.4% from human performance on SQuAD2.

연구 동기 및 목표

• 비라벨링 텍스트에서 대규모 고품질 합성 질문-답변 데이터셋을 생성하는 방법을 개발하기 위해.
• 일致성 필터링 메커니즘을 통해 생성된 합성 데이터에서 사전 훈련하여 질문-답변 모델의 성능을 향상시키기 위해.
• 자기지도 학습 기반의 데이터 생성을 활용하여 고비용의 인간 레이블링 QA 데이터셋에 대한 의존도를 줄이기 위해.
• 라운드트립 일치성을 갖춘 합성 데이터가 기존의 사전 훈련 방식보다 하류 QA 벤치마크에서 더 우수한 성능을 낼 수 있는지 조사하기 위해.

제안 방법

• 먼저 사전 훈련된 답변 추출 모델 p(a|c;θA)를 사용하여 문맥 C에서 답변 A를 추출한다.
• 그 후 질문 생성 모델 p(q|c,a;θQ)를 사용하여 C와 A에서 질문 Q를 생성한다.
• 질문-답변 모델 p(a|c,q;θA′)를 사용하여 C와 Q에서 답변 A′을 예측한다.
• 원본 답변 A와 예측 답변 A′이 일치하는 경우에만 삼중조를 유지하여 라운드트립 일치성을 확보한다.
• 합성 데이터는 QA 모델의 사전 훈련에 사용되며, 이후 SQuAD2 및 NQ와 같은 인간 레이블링 데이터셋에서 미세조정된다.
• 두 가지 변형을 탐색한다: 하나는 모든 구성 요소에 대해 미세조정된 BERT를 사용하고, 다른 하나는 질문 생성에 대해 전체 시퀀스-투-시퀀스 사전 훈련을 사용한다.

실험 결과

연구 질문

• RQ1 라운드트립 일치성 필터링을 통해 생성된 합성 질문-답변 쌍이 하류 QA 성능을 향상시킬 수 있는가?
• RQ2 라운드트립 일치성 필터링은 필터링되지 않은 합성 데이터에 비해 모델 성능에서 어떻게 비교되는가?
• RQ3 한 QA 데이터셋(예: SQuAD2)에서 생성된 합성 데이터가 다른 데이터셋(예: NQ)에서의 성능 향상에 얼마나 기여하는가?
• RQ4 합성 데이터 생성은 SQuAD2에서 인간 수준의 성능에 얼마나 가까이 다가갈 수 있는가?
• RQ5 질문 생성에 대해 전체 시퀀스-투-시퀀스 사전 훈련을 사용할 경우, BERT를 미세조정하는 것보다 더 좋은 성능을 낼 수 있는가?

주요 결과

• 라운드트립 일치성 필터링을 통한 합성 데이터 사전 훈련은 SQuAD2와 NQ 양쪽 모두에서 성능 향상을 이끌었으며, NQ에서 인간 성능에 대한 머리감소(headroom)가 상당히 감소했다.
• NQ의 단답형 질문 태스크에서, 모델은 인간 성능에 비해 상대적으로 50% 감소한 머리감소를 달성했고, 인간 앙상블 성능에 비해 10% 감소했다.
• 앙상블을 사용한 전체 사전 훈련 방식은 SQuAD2에서 정확도 일치와 F1 점수를 각각 인간 성능에 0.1% 이내, 0.4% 이내로 달성했다.
• 라운드트립 필터링은 일관되게 모델 성능을 향상시켰으며, 수동 검토에서 필터링된 예시의 39%가 정확했고, 기각된 예시의 정확도는 단지 16%에 그쳤다.
• 합성 SQuAD2와 NQ 데이터의 결합을 사전 훈련에 사용하면 SQuAD2에서 성능 향상이 두드러졌지만, NQ에서는 성능 향상이 관찰되지 않았다.
• 합성 데이터 생성 파이프라인은 SQuAD2와 NQ의 추출적 서브셋에 대해 공개된 BERT 모델을 미세조정하여 완전히 재현 가능하다.