[논문 리뷰] End-to-End QA on COVID-19: Domain Adaptation with Synthetic Training

Revanth Gangi Reddy, Bhavani Iyer외 6명|arXiv (Cornell University)|2020. 12. 02.

Topic Modeling참고 문헌 43인용 수 17

한 줄 요약

이 논문은 합성된 훈련 데이터를 사용하여 코로나19 도메인에서 엔드 투 엔드 질의응답에 대한 제로샷 도메인 적응 프레임워크를 제안한다. 내부 도메인 CORD-19 텍스트에서 합성된 질문-문장-답변 삼중체를 생성하기 위해 개방형 질의응답 데이터에서 미리 훈련된 질문 생성기의 능력을 활용함으로써, 저자들은 신경형 정보 검색(IR) 및 기계적 독해(MRC) 모델을 미세조정하여, 여러 코로나19 질의응답 벤치마크에서 최신의 개방형 베이스라인보다 상당한 F1 향상을 달성한다.

ABSTRACT

End-to-end question answering (QA) requires both information retrieval (IR) over a large document collection and machine reading comprehension (MRC) on the retrieved passages. Recent work has successfully trained neural IR systems using only supervised question answering (QA) examples from open-domain datasets. However, despite impressive performance on Wikipedia, neural IR lags behind traditional term matching approaches such as BM25 in more specific and specialized target domains such as COVID-19. Furthermore, given little or no labeled data, effective adaptation of QA systems can also be challenging in such target domains. In this work, we explore the application of synthetically generated QA examples to improve performance on closed-domain retrieval and MRC. We combine our neural IR and MRC systems and show significant improvements in end-to-end QA on the CORD-19 collection over a state-of-the-art open-domain QA baseline.

연구 동기 및 목표

• 특정 도메인(예: 코로나19)에서 레이블이 부족한 상황에서 신경형 IR 및 MRC 모델의 성능이 열 劣한 문제를 해결하기 위해.
• 저자원 타겟 도메인에서 정보 검색 및 기계적 독해에 대한 고품질 합성 훈련 예제를 생성하는 방법을 개발하기 위해.
• 개방형 베이스라인과 비교하여 CORD-19 코퍼스에서 합성 데이터가 엔드 투 엔드 QA 성능 향상에 기여하는지 평가하기 위해.
• 다양한 질문 스타일(예: SQuAD 대비 NQ)에서 훈련된 합성 예제가 더 나은 도메인 적응 결과를 낳는지 조사하기 위해.

제안 방법

• 내부 도메인 CORD-19 과학 논문에서 합성된 질문-문장-답변 삼중체를 생성하기 위해 개방형 MRC 데이터셋(예: SQuAD)에서 훈련된 합성 질문 생성기를 사용한다.
• 생성된 질문의 다양성과 품질을 향상시키기 위해 top-p 및 top-k 샘플링 기법을 사용한다.
• 합성 예제를 사용하여 사전 훈련된 밀도 기반 문단 검색기(DPR)를 미세조정하여 타겟 도메인에서의 검색 성능을 향상시킨다.
• 별도의 MRC 모델을 CORD-19에서의 내부 도메인 언어 모델링과 합성 MRC 예제를 함께 사용하여 미세조정함으로써 답변 추출 성능을 향상시킨다.
• 저품질의 합성 예제를 걸러내고 레이블 신뢰도를 향상시키기 위해 라운드트립 일관성 검사를 적용한다.
• 가중치가 0.7인 IR 점수와 MRC 점수의 융합을 통해 적합한 IR 및 MRC 모델을 조합함으로써 엔드 투 엔드 QA 성능을 평가한다.

실험 결과

연구 질문

• RQ1 내부 도메인 텍스트에서 생성된 합성 질문-답변 쌍이 코로나19와 같은 저자원 도메인에서 신경형 IR 성능 향상에 기여하는가?
• RQ2 합성 예제로 미세조정된 MRC 모델이 도메인 특화 QA 데이터셋에서 답변 추출 정확도에 측정 가능한 향상 효과를 보이는가?
• RQ3 SQuAD 스타일과 자연어 질문(NQ) 스타일에서 생성된 합성 예제의 품질은 어떻게 다를지, 어떤 스타일이 더 나은 최종 성능을 낳는가?
• RQ4 타겟 도메인에서의 언어 모델링과 합성 데이터 생성이 함께 MRC 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 엔드 투 엔드 QA 시스템이 코로나19 도메인에 대한 제로샷 적응에서 강력한 개방형 베이스라인보다 유의미하게 뛰어난가?

주요 결과

• 합성 데이터를 사용한 엔드 투 엔드 QA 시스템은 COVID-QA-111의 테스트 세트에서 47.8 F1 점수를 기록하여 베이스라인(45.9 F1)보다 1.9포인트 향상되었다.
• COVID-QA-2019 데이터셋에서 최종 시스템은 44.9 F1 점수를 기록하여 베이스라인(41.2 F1)보다 3.7포인트 향상되었다.
• 합성 예제와 내부 도메인 언어 모델링을 결합한 MRC 모델은 COVID-QA-2019의 개발 세트에서 3.1 EM 및 2.6 F1 포인트 향상되었다.
• SQuAD로 훈련된 생성기에서 유래한 합성 예제가 NQ 스타일 생성보다 성능이 뛰어나, 질문 스타일이 합성 데이터 품질에 영향을 준다는 것을 시사한다.
• 쌍체 t-검정을 통해 최종 엔드 투 엔드 시스템의 성능이 p < 0.01 수준에서 베이스라인보다 유의미하게 뛰어나다는 것이 확인되었다.
• 합성 MRC 예제의 기여도(3.1 EM, 2.6 F1)가 내부 도메인 언어 모델링 기여도(1.5 EM, 0.8 F1)를 초월하여, 합성 예제가 더 큰 영향을 미친다는 점을 입증한다.