[논문 리뷰] MRQA 2019 Shared Task: Evaluating Generalization in Reading Comprehension

Adam Fisch, Alon Talmor외 4명|arXiv (Cornell University)|2019. 10. 22.

Topic Modeling참고 문헌 35인용 수 21

한 줄 요약

이 논문은 다양한 도메인 외부 데이터셋에 걸쳐 추출적 읽기 이해 모델의 일반화 능력을 평가하는 MRQA 2019 공동 과제를 제시한다. 18개의 QA 데이터셋을 동일한 형식으로 통합하고 12개의 보류된 데이터셋에서 평가함으로써, 최고의 시스템은 72.5의 평균 F1 스코어를 기록했으며, BERT 기반 베이스라인보다 10.7점 높게 기록하여 다중 작업 학습, 적대적 훈련, 앙상블 기법 등을 통해 교차 도메인 일반화에서 뚜렷한 진전을 보였다.

ABSTRACT

We present the results of the Machine Reading for Question Answering (MRQA) 2019 shared task on evaluating the generalization capabilities of reading comprehension systems. In this task, we adapted and unified 18 distinct question answering datasets into the same format. Among them, six datasets were made available for training, six datasets were made available for development, and the final six were hidden for final evaluation. Ten teams submitted systems, which explored various ideas including data sampling, multi-task learning, adversarial training and ensembling. The best system achieved an average F1 score of 72.5 on the 12 held-out datasets, 10.7 absolute points higher than our initial baseline based on BERT.

연구 동기 및 목표

• 읽기 이해 모델이 훈련 데이터 외부의 도메인 외부 데이터 분포로 일반화할 수 있는 능력을 평가하기 위해.
• 18개의 다양한 QA 데이터셋을 동일한 형식으로 통합하여 추출적 질의응답에서의 일반화를 위한 표준화된 벤치마크를 구축하기 위해.
• 다중 작업 학습, 적대적 훈련, 앙상블과 같은 다양한 기법들이 교차 도메인 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 내부 도메인 미세조정 성능와 도메인 외부 일반화를 비교하여 데이터 분포 이동과 모델 용량에 의한 제약를 분리 분석하기 위해.
• 다양한 도메인에서의 모델 실패 및 성공 원인을 분석하여 향후 강력하고 일반화 가능한 NLP 시스템 연구에 통찰을 제공하기 위해.

제안 방법

• 질문, 맥락, 답변 구간을 포함한 단일 추출적 QA 형식으로 18개의 서로 다른 질문 응답 데이터셋을 통합하여 일관된 평가를 가능하게 했다.
• 실제 도메인 외부 일반화를 시뮬레이션하기 위해 데이터셋을 훈련(6개), 개발(6개), 은폐된 테스트(6개) 세트로 분할했다.
• 베이스라인으로 BERT 기반 모델을 사용하고 훈련 데이터에서 미세조정하였으며, 평가 기준으로는 매크로 평균 F1 및 정확일치(EM) 스코어를 사용했다.
• 다중 작업 학습(예: NLI 작업), 도메인 구분자 기반 적대적 도메인 적응, 가중치 기반 로짓 평균화를 통한 모델 앙상블 등의 기법을 적용했다.
• 입력에 따라 예측을 동적으로 통합하는 혼합 전문가 레이어를 구현하여 적응형 앙상블을 통한 일반화 향상을 도모했다.
• 각 테스트 데이터셋에서 내부 도메인 미세조정 실험을 수행하여 성능 향상 정도를 평가하고, 데이터 부족성 또는 모델 일반화 능력의 한계 여부를 분석했다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 훈련 중에 볼 수 없었던 도메인 외부 질문 응답 데이터셋으로 얼마나 잘 일반화할 수 있는가?
• RQ2 적대적 훈련, 다중 작업 학습, 앙상블 등의 아키텍처 및 훈련 기법 중에서 교차 도메인 일반화에 가장 효과적인 것은 무엇인가?
• RQ3 새로운 분포의 소수의 내부 도메인 예제로 일반 목적 모델을 미세조정함으로써 얼마나 많은 성능 향상을 기대할 수 있는가?
• RQ4 어떤 모델은 제한된 내부 도메인 데이터에 노출되어도 여전히 일반화에 실패하는 이유는 무엇이며, 이는 모델의 일반화 능력에 대해 무엇을 드러내는가?
• RQ5 예: 위키백과, 뉴스, 웹 스니펫 등 다양한 데이터 분포가 모델 성능 및 일반화 행동에 어떻게 영향을 미치는가?

주요 결과

• 최고의 성능을 보인 시스템인 D-Net은 12개의 보류된 테스트 데이터셋에서 평균 F1 스코어 72.5를 기록했으며, 초기 BERT 기반 베이스라인보다 10.7점 높은 점수를 기록했다.
• 적대적 훈련은 12개 데이터셋 중 9개에서 성능 향상을 이끌었으며, BERT-Base 베이스라인 대비 +1.9 F1 향상을 기록했지만, 더 강력한 BERT-Large 모델에서는 성능 향상이 더 작았다.
• 앙상블 기법(예: 모델 평균화, 혼합 전문가)은 여러 제출물에서 일관되게 약간의 성능 향상을 기록했다.
• NLI 작업을 통한 다중 작업 학습은 Split II 개발 세트에서 +0.7 F1 향상을 기록했지만, 다른 제출물에서는 효과가 없었으며, 이는 작업 간 호환성에 민감함을 시사한다.
• 내부 도메인 미세조정은 전체적으로 베이스라인을 4.6 F1 점수 높였지만, 성능 격차를 완전히 메운 것은 하나의 데이터셋(관계 추출) 뿐이었으며, 이는 D-Net의 성공이 단지 데이터 다양성 때문이 아니라 더 강한 인덕티브 바이어스 또는 더 나은 일반화 능력 때문임을 시사한다.
• 내부 도메인 미세조정에도 불구하고 대부분의 데이터셋에서 지속적인 성능 격차가 존재함을 고려할 때, 일반화 한계는 단지 데이터 부족 때문이 아니라, 근본적인 모델 인덕티브 바이어스 또는 분포 이동 때문임을 시사한다.