[논문 리뷰] Multi-Task Learning for Machine Reading Comprehension.

Yichong Xu, Xiaodong Liu외 3명|arXiv (Cornell University)|2018. 09. 18.

Topic Modeling참고 문헌 14인용 수 11

한 줄 요약

이 논문은 다양한 도메인의 다수의 데이터셋에서 기계적 독해(MRC) 모델을 공동으로 훈련하는 다중 작업 학습 프레임워크를 제안한다. 이 프레임워크는 도메인 외 데이터를 활용하여 강건하고 일반화된 문맥 표현을 학습한다. 이 방법은 SQuAD, MS MARCO, NewsQA 및 기타 벤치마크에서 최신 기술 모델보다 뚜렷한 성능 향상을 달성하며, 단어 임베딩 및 언어 모델과 같은 기존 사전 훈련된 표현 방식과 수직적인 개선 효과를 보여준다.

ABSTRACT

We propose a multi-task learning framework to jointly train a Machine Reading Comprehension (MRC) model on multiple datasets across different domains. Key to the proposed method is to learn robust and general contextual representations with the help of out-domain data in a multi-task framework. Empirical study shows that the proposed approach is orthogonal to the existing pre-trained representation models, such as word embedding and language models. Experiments on the Stanford Question Answering Dataset (SQuAD), the Microsoft MAchine Reading COmprehension Dataset (MS MARCO), NewsQA and other datasets show that our multi-task learning approach achieves significant improvement over state-of-the-art models in most MRC tasks.

연구 동기 및 목표

• 다양한 도메인에서 기계적 독해 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 도메인 외 훈련 데이터가 MRC에서 문맥 표현 학습을 향상시킬 수 있는지 조사하기 위해.
• 다수의 MRC 데이터셋에서 성능을 공동 최적화하는 다중 작업 학습 프레임워크를 개발하기 위해.
• 기존 사전 훈련된 표현 모델(예: 단어 임베딩 및 언어 모델)과의 호환성과 상호 보완적 이점을 평가하기 위해.
• 공동 훈련을 통해 다양한 MRC 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 프레임워크는 SQuAD, MS MARCO, NewsQA 등 다양한 도메인의 다수의 데이터셋에서 단일 MRC 모델을 공동으로 훈련시킨다.
• 훈련 과정에서 도메인 외 데이터를 활용하여 더 강건하고 일반화된 문맥 표현을 학습한다.
• 기존의 사전 훈련된 표현 모델(예: 단어 임베딩 및 언어 모델)과 수직적인 방식으로 설계되어 있다.
• 도메인 특화 및 일반화 가능한 특징를 균형 있게 유지하기 위해 공유 및 작업별 구성 요소를 함께 사용해 종단 간(end-to-end)으로 모델을 훈련시킨다.
• 다중 작업 목적 함수는 모든 데이터셋의 손실 신호를 조합하여 다양한 도메인 간 이해 능력을 공동으로 최적화한다.
• 아키텍처는 고자원 도메인에서 저자원 또는 도메인 외 설정으로 지식을 전이할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다양한 도메인의 다수의 MRC 데이터셋에서 공동 훈련을 수행하면 모델의 일반화 능력이 향상되는가?
• RQ2 도메인 외 데이터를 통합하면 MRC 모델의 문맥 표현 품질이 향상되는가?
• RQ3 성능 및 강건성 측면에서 다중 작업 학습은 개별 데이터셋에 대한 미세 조정과 비교해 어떻게 다른가?
• RQ4 제안된 방법이 기존 사전 훈련된 표현 모델과 얼마나 호환되고 상호 보완적인가?
• RQ5 다중 작업 프레임워크는 다양한 MRC 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 제안된 다중 작업 학습 방법은 SQuAD, MS MARCO 및 NewsQA에서 최신 기술 모델보다 뚜렷한 성능 향상을 달성한다.
• 기존의 사전 훈련된 표현 모델(예: 단어 임베딩 및 언어 모델)과 결합할 경우 수직적인 성능 향상 효과를 보여준다.
• 도메인 외 데이터는 MRC 모델에서 강건하고 일반화된 문맥 표현을 학습하는 데 의미 있는 기여를 한다.
• 도메인 특화 적응이 필요 없이 다양한 도메인 간 모델 일반화 능력을 향상시킨다.
• 실증 결과는 다수의 데이터셋에서 일관된 성능 향상을 보이며, 공동 훈련의 효과성을 입증한다.
• 저자원 또는 도메인 외 데이터셋에서 훈련해도 이 방법은 효과적이며, 강력한 전이 능력을 보여준다.