[논문 리뷰] Improving Machine Reading Comprehension with Single-choice Decision and Transfer Learning

Yufan Jiang, Shuangzhi Wu외 6명|arXiv (Cornell University)|2020. 11. 06.

Topic Modeling참고 문헌 17인용 수 7

한 줄 요약

이 논문은 다중 선택 기계 독해(MMRC) 작업을 위한 단일 선택 결정 프레임워크를 제안한다. 이는 다중 선택 모델링 대신 각 답변 선택지를 이진 분류를 통해 독립적으로 평가하는 방식이다. 다양한 MRC 데이터셋에서의 전이 학습과 AutoML 하이퍼파rameter 튜닝을 활용하여, RACE 벤치마크에서 최신 기준 성능을 달성한다—단일 모델 정확도 90.7%, 앙상블 정확도 91.4%로, 이는 Megatron-BERT를 포함한 이전 모델들을 뛰어넘는 성과이다.

ABSTRACT

Multi-choice Machine Reading Comprehension (MMRC) aims to select the correct answer from a set of options based on a given passage and question. Due to task specific of MMRC, it is non-trivial to transfer knowledge from other MRC tasks such as SQuAD, Dream. In this paper, we simply reconstruct multi-choice to single-choice by training a binary classification to distinguish whether a certain answer is correct. Then select the option with the highest confidence score. We construct our model upon ALBERT-xxlarge model and estimate it on the RACE dataset. During training, We adopt AutoML strategy to tune better parameters. Experimental results show that the single-choice is better than multi-choice. In addition, by transferring knowledge from other kinds of MRC tasks, our model achieves a new state-of-the-art results in both single and ensemble settings.

연구 동기 및 목표

• 다중 선택 기계 독해(MMRC) 작업에서 데이터 부족 문제와 성능 저하 문제를 해결하기 위해.
• 답변 선택지를 독립적으로 모델링하는 방식(단일 선택)이 통합 다중 선택 모델링 방식보다 성능이 뛰어나지 않는지 탐구하기 위해.
• 다양한 MRC 데이터셋(SQuAD, CoQA, ARC, DREAM 등)에서의 지식이 어떻게 효과적으로 MMRC 성능 향상에 기여할 수 있는지 조사하기 위해.
• AutoML와 웹 크롤링 데이터의 영향이 RACE 벤치마크에서 모델의 일반화 능력과 정확도에 어떻게 작용하는지 평가하기 위해.

제안 방법

• 다중 선택 기계 독해를 각 선택지가 정확한지 여부를 판단하는 이진 분류 작업의 연속으로 재구성한다.
• 패assage, 질문, 후보 답변을 표현하기 위해 ALBERT-xxlarge를 기반 인코더로 사용한다.
• 다른 MRC 데이터셋에서의 양성 예제를 사용하여 각 선택지가 올바른지(양성) 또는 잘못된지(음성)를 예측하는 이진 분류기 학습.
• SQuAD2.0, ARC, CoQA, DREAM 및 추가로 웹에서 크롤링한 MRC 데이터를 활용하여 RACE에서의 전이 학습을 수행한다.
• 모델의 일반화 능력과 성능 향상을 향상시키기 위해 AutoML 전략을 활용하여 하이퍼파rameter 최적화.
• 모든 선택지를 동시에 최적화하지 않고, 가장 높은 신뢰도 점수를 가진 선택지를 최종 예측으로 선택한다.

실험 결과

연구 질문

• RQ1 MMRC 작업에서 답변 선택지를 독립적으로 모델링하는 방식(단일 선택)이 통합 다중 선택 모델링 방식보다 성능이 뛰어나지 않는가?
• RQ2 다양한 추출형 및 다중 선택 기계 독해 데이터셋에서의 지식이 RACE 벤치마크 성능 향상에 효과적으로 전이될 수 있는가?
• RQ3 AutoML 하이퍼파rameter 최적화가 RACE에서 모델 성능 향상에 얼마나 기여하는가?
• RQ4 웹 크롤링을 통해 확보한 MRC 데이터의 포함 여부가 모델 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 효율적인 전이 학습과 최적화를 통해 단일 모델이 앙상블 모델과 비교해 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 단일 선택 모델은 RACE 테스트 세트에서 베이스라인 다중 선택 모델보다 정확도 0.8점 높은 성능을 기록했다(87.9% 대 87.1%).
• SQuAD2.0, ARC, CoQA, DREAM 등의 다른 MRC 데이터셋에서의 전이 학습으로 성능이 0.4점 향상되어 88.3%에 도달했다.
• AutoML 하이퍼파라미터 튜닝을 적용한 단일 모델은 90.0%의 정확도를 기록하여, Megatron-BERT의 89.5% 단일 모델 성능을 초월했다.
• 웹 크롤링 MRC 데이터를 통합함으로써 단일 모델의 정확도는 90.7%로 상승하여 새로운 최신 기준 성능을 수립했다.
• 앙상블 모델은 91.4%의 정확도를 기록하여, 발표 당시 RACE 랭킹에서 가장 높은 성능을 기록했다.
• 제안된 방법은 더 나은 데이터 효율성과 확장성을 보이며, 다양한 비-MMRC MRC 데이터셋을 효과적으로 활용할 수 있다.