[논문 리뷰] Multi-task Learning with Sample Re-weighting for Machine Reading Comprehension

Yichong Xu, Xiaodong Liu외 3명|arXiv (Cornell University)|2018. 09. 18.

Topic Modeling참고 문헌 45인용 수 6

한 줄 요약

이 논문은 기계 독해 이해(MRC)를 위한 샘플 재가중 기반 다중 작업 학습 프레임워크를 제안하며, 다양한 MRC 작업 간의 모델 일반화 능력을 향상시킨다. 보조 도메인(예: NewsQA, MS MARCO)의 훈련 샘플에 동적이고 데이터 기반의 가중치를 할당하여 SQuAD 및 기타 벤치마크에서 성능을 향상시키며, ELMo 임bedding을 결합할 경우 NewsQA에서 정확 매칭 점수로 인간 성능을 13.4점 초월하는 최신 기술 성과를 달성한다.

ABSTRACT

We propose a multi-task learning framework to learn a joint Machine Reading Comprehension (MRC) model that can be applied to a wide range of MRC tasks in different domains. Inspired by recent ideas of data selection in machine translation, we develop a novel sample re-weighting scheme to assign sample-specific weights to the loss. Empirical study shows that our approach can be applied to many existing MRC models. Combined with contextual representations from pre-trained language models (such as ELMo), we achieve new state-of-the-art results on a set of MRC benchmark datasets. We release our code at https://github.com/xycforgithub/MultiTask-MRC.

연구 동기 및 목표

• 다양한 다중 도메인 훈련 데이터를 활용하여 MRC 모델의 일반화 능력을 향상시키기 위해.
• 효과적인 샘플 가중치 없이 여러 MRC 데이터셋을 통합할 경우의 성능 저하 문제를 해결하기 위해.
• 보조 작업에서 더 유용하거나 유사한 샘플에 더 높은 중요도를 할당하는 유연하고 학습 가능한 재가중 메커니즘을 개발하기 위해.
• 다중 작업 학습과 샘플 재가중이 단일 작업 학습 및 기존 MTL 기반 모델을 능가할 수 있음을 입증하기 위해.
• 사전 학습된 언어 모델이나 복잡한 데이터 증강 기법에 의존하지 않고도 효율적인 엔드 투 엔드 훈련을 가능하게 하기 위해.

제안 방법

• 공유 인코더와 작업별 헤드를 사용하여 SQuAD, NewsQA, MS MARCO 등의 여러 MRC 데이터셋을 동시에 훈련하는 다중 작업 학습 프레임워크 MT-SAN을 도입한다.
• 질문과 답변의 품질을 기반으로 언어 모델 점수와 답변 길이 정규화를 사용하여 샘플별 가중치를 계산하는 샘플 재가중 기법을 제안한다.
• 정규화된 점수(H′_Q 및 H′_A)를 사용하여 각 질문-답변 쌍의 정보성 정도를 추정하며, 높은 점수일수록 목표 작업과의 관련성이 높음을 의미한다.
• 이러한 동적으로 계산된 샘플 가중치로 가중된 작업별 손실을 조합하는 손실 함수를 적용하여 관련 샘플에 대한 훈련 신호를 향상시킨다.
• 재가중 과정을 안내하기 위해 질문 및 답변 품질 점수를 집계하는 CED′ 지표를 사용한다.
• 비교를 위해 고정된 하이퍼파라미터 비율로 보조 작업의 훈련 데이터를 샘플링하는 혼합 비율 기반 베이스라인을 도입한다.

실험 결과

연구 질문

• RQ1 다양한 MRC 데이터셋 간의 다중 작업 학습이 목표 MRC 작업에서의 일반화 능력과 성능 향상에 기여할 수 있는가?
• RQ2 질문 및 답변의 품질 기반 샘플 재가중이 다중 작업 MRC 훈련에서 고정된 혼합 비율 샘플링과 비교해 어떻게 성능을 높이는가?
• RQ3 비율 기반 샘플링에 비해 제안된 재가중 기법이 하이퍼파라미터 튜닝에 민감도를 낮출 수 있는가?
• RQ4 맥락 임베딩 기법인 ELMo와 결합했을 때, 샘플 재가중 기반 다중 작업 프레임워크가 최신 기술 성능을 달성할 수 있는가?
• RQ5 특히 인간 성능과 비교했을 때, NewsQA 및 MS MARCO와 같은 도메인 외 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 샘플 재가중 기법은 SQuAD+MARCO에서 정확 매칭 점수와 F1 점수에 각각 0.6%p 향상되며, 모든 세 데이터셋에서 최소 1%p 향상된다.
• NewsQA 데이터셋에서 정확 매칭 점수는 46.5에서 59.9로 상승하여 인간 성능을 13.4점 초월했고, F1 점수는 72.6에서 69.4로 상승했다.
• NewsQA 및 TriviaQA 양쪽 모두에서 최신 기술 성능을 달성하여 다양한 도메인 간 강력한 일반화 능력을 입증했다.
• 혼합 비율 접근법은 하이퍼파라미터 선택에 매우 민감하여 최적의 α=0.4에서 벗어나면 성능이 약 0.5%p 하락함을 보이며, 강력한 재가중 기법의 필요성을 강조한다.
• 샘플 재가중 기법은 작업 불확실성 가중치 기법(Kendall 등, 2018)을 능가하며, 하이퍼파라미터의 그리드 서치가 필요 없어져 훈련 효율성이 향상된다.
• 이 방법은 ELMo와 같은 사전 학습된 임베딩과 수직적이고 상호 보완적이며, 두 기법을 결합할 경우 성능 향상이 추가로 이루어진다.