[논문 리뷰] Adversarial Domain Adaptation for Machine Reading Comprehension

Huazheng Wang, Zhe Gan외 4명|arXiv (Cornell University)|2019. 08. 24.

Topic Modeling참고 문헌 51인용 수 6

한 줄 요약

이 논문은 비지도 학습 기계 읽기 이해(MRC)를 위한 적대적 도메인 적응 프레임워크인 AdaMRC를 제안한다. 이 프레임워크는 레이블이 없는 타겟 도메인 문장에 대해 가짜 질문을 생성하고, 적대적 학습을 통해 도메인에 영향을 받지 않는 표현을 학습한다. 이 방법은 다양한 도메인 간 MRC 성능 향상을 이끌어내며, BERT나 ELMo와 같은 모델과도 호환되어 SQuAD, NewsQA, MS MARCO에서 일관된 성능 향상을 보인다.

ABSTRACT

In this paper, we focus on unsupervised domain adaptation for Machine Reading Comprehension (MRC), where the source domain has a large amount of labeled data, while only unlabeled passages are available in the target domain. To this end, we propose an Adversarial Domain Adaptation framework (AdaMRC), where ($i$) pseudo questions are first generated for unlabeled passages in the target domain, and then ($ii$) a domain classifier is incorporated into an MRC model to predict which domain a given passage-question pair comes from. The classifier and the passage-question encoder are jointly trained using adversarial learning to enforce domain-invariant representation learning. Comprehensive evaluations demonstrate that our approach ($i$) is generalizable to different MRC models and datasets, ($ii$) can be combined with pre-trained large-scale language models (such as ELMo and BERT), and ($iii$) can be extended to semi-supervised learning.

연구 동기 및 목표

• 레이블이 없는 타겟 도메인 문장만 제공되는 상황에서 고자원 소스 도메인에서 저자원 타겟 도메인으로 MRC 모델을 전이하는 문제를 해결한다.
• 직접 타겟 도메인 데이터로 미세조정할 경우 성능이 저하되는 도메인 이동 문제를 완화한다.
• 레이블이 없는 타겟 도메인 데이터가 필요 없이도 일반화 가능한 프레임워크를 개발한다.
• 사전 훈련된 언어 모델(예: BERT, ELMo)과 반지도 학습 설정과의 호환성을 보장한다.
• 저자원 도메인 적응 환경에서 MRC 모델의 강인성과 성능을 향상시킨다.

제안 방법

• 질문 생성 모델을 사용해 레이블이 없는 타겟 도메인 문장에 대해 합성된 질문-답변 쌍을 생성한다.
• 소스 도메인과 타겟 도메인 샘플을 구분할 수 있도록 MRC 모델에 도메인 분류기 통합한다.
• 적대적 학습을 통해 문장-질문 인코더와 도메인 분류기를 함께 훈련하여 도메인에 영향을 받지 않는 표현을 강제로 만든다.
• 도메인 특수한 특징을 최소화하면서도 작업에 관련된 MRC 신호를 유지하기 위해 적대적 학습을 활용한다.
• 인간이 애너테이션한 소스 데이터와 생성된 타겟 데이터를 결합하여 MRC 모델을 공동으로 훈련한다.
• 소량의 레이블이 있는 타겟 도메인 데이터를 포함시켜 반지도 학습 설정으로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 소스 도메인에서 타겟 도메인으로 전이할 때, 레이블이 없는 문장만 존재하는 상황에서 적대적 도메인 적응이 MRC 성능을 향상시킬 수 있는가?
• RQ2 레이블이 없는 타겟 데이터가 존재하는 상황에서 제안된 방법이 도메인에 영향을 받지 않는 표현을 얼마나 효과적으로 학습할 수 있는가?
• RQ3 AdaMRC가 다양한 MRC 아키텍처와 데이터셋으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 AdaMRC는 BERT나 ELMo와 같은 사전 훈련된 언어 모델과 효과적으로 통합될 수 있는가?
• RQ5 소량의 레이블이 있는 타겟 도메인 데이터가 존재하는 반지도 학습 설정에서 프레임워크가 여전히 효과적인가?

주요 결과

• AdaMRC는 다양한 MRC 모델을 대상으로 SQuAD, NewsQA, MS MARCO에서 베이스라인 방법보다 일관된 성능 향상을 달성한다.
• 레이블이 없는 타겟 도메인 데이터만을 사용하는 상황에서도 효과적인 비지도 도메인 적응을 보여주며 성능 향상을 이룬다.
• AdaMRC는 사전 훈련된 모델과 강한 호환성을 보이며, BERT나 ELMo와 결합했을 때 성능 향상이 관찰된다.
• 반지도 학습 설정에서, 타겟 도메인 레이블 데이터가 제한적일 경우(예: 20% 이하), AdaMRC는 베이스라인 SAN을 능가하는 성능을 보인다.
• 레이블이 있는 타겟 도메인 데이터가 증가함에 따라 AdaMRC와 지도 학습 기반 베이스라인 간 성능 격차가 줄어들며, 이는 저자원 환경에서의 방법의 효과성을 확인한다.