[논문 리뷰] Unsupervised Domain Adaptation of Language Models for Reading Comprehension

Kosuke Nishida, Kyosuke Nishida외 3명|arXiv (Cornell University)|2019. 11. 25.

Topic Modeling참고 문헌 30인용 수 15

한 줄 요약

이 논문은 독해 이해에서의 비지도 도메인 적응(UDARC)을 위한 다중 작업 학습 접근법을 제안한다. BERT 기반 모델이 원천 도메인의 감독된 독해 데이터와 타겟 도메인의 레이블이 없는 문단을 동시에 미세조정한다. 이 방법은 타겟 도메인의 레이블이 전혀 필요 없이도, 원천 도메인의 독해 능력을 유지하면서 동시에 타겟 도메인의 언어 모델링 지식을 습득함으로써, 도메인 외부 설정에서 질문-답변 성능을 향상시킨다. 특히 생물의학 도메인에서 EM/F1 점수로 각각 4.3/4.2 포인트 향상되었다.

ABSTRACT

This study tackles unsupervised domain adaptation of reading comprehension (UDARC). Reading comprehension (RC) is a task to learn the capability for question answering with textual sources. State-of-the-art models on RC still do not have general linguistic intelligence; i.e., their accuracy worsens for out-domain datasets that are not used in the training. We hypothesize that this discrepancy is caused by a lack of the language modeling (LM) capability for the out-domain. The UDARC task allows models to use supervised RC training data in the source domain and only unlabeled passages in the target domain. To solve the UDARC problem, we provide two domain adaptation models. The first one learns the out-domain LM and in-domain RC task sequentially. The second one is the proposed model that uses a multi-task learning approach of LM and RC. The models can retain both the RC capability acquired from the supervised data in the source domain and the LM capability from the unlabeled data in the target domain. We evaluated the models on UDARC with five datasets in different domains. The models outperformed the model without domain adaptation. In particular, the proposed model yielded an improvement of 4.3/4.2 points in EM/F1 in an unseen biomedical domain.

연구 동기 및 목표

• 최신 독해 이해 모델이 도메인 특화 언어 모델링 능력 부족으로 인해 도메인 외부 데이터셋에 대해 일반화 성능이 열 劣하다는 문제를 해결하기 위해.
• 타겟 도메인에 레이블이 있는 질문-답변 쌍이 없더라도 독해 이해의 도메인 적응을 가능하게 하기 위해.
• 레이블이 없는 타겟 도메인 문단에서의 비지도 사전 훈련이 예측할 수 없는 도메인에서의 제로샷 성능을 향상시킬 수 있는지 조사하기 위해.
• 원천 도메인 독해 이해 지식을 유지하면서도 타겟 도메인 언어 모델링을 학습하면서 치명적인 기억 상실을 방지하는 방법을 개발하기 위해.
• 특히 자원이 적거나 전문 지식이 필요한 도메인을 포함한 다양한 도메인에서 비지도 도메인 적응의 효과성을 평가하기 위해.

제안 방법

• 제안된 방법은 원천 도메인 데이터에서 독해 이해(RC)를 최적화하고, 타겟 도메인의 레이블이 없는 문단에서 언어 모델링(LM)을 동시에 최적화하기 위해 다중 작업 학습을 사용한다.
• 공통의 BERT 기반 백본이 두 작업을 동시에 미세조정함으로써 RC와 LM 목표 간 지식 이동을 가능하게 한다.
• 모델은 RC 손실(예: 스파닝 예측)과 타겟 도메인 텍스트에서의 마스킹 언어 모델링 손실을 조합한 균형 잡힌 손실 함수로 훈련된다.
• 미세조정 중 두 작업을 동시에 최적화함으로써 기억 상실을 방지하며, 원천 도메인의 RC 성능 유지를 유지하면서 타겟 도메인에 적응한다.
• 먼저 타겟 데이터에서 언어 모델링을 미세조정한 후 원천 데이터에서 독해 이해를 미세조정하는 순차적 적응 기반 모델과 비교한다.
• 프레임워크는 생물의학(BioASQ), 뉴스(NewsQA), 일반 위키백과(SQuAD)를 포함한 다섯 개의 데이터셋을 통해 평가된다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 도메인 문단에서의 비지도 언어 모델링이 도메인 외부 설정에서 제로샷 독해 이해 성능을 향상시킬 수 있는가?
• RQ2 독해 이해와 언어 모델링을 동시에 학습하는 다중 작업 학습이 적응 과정에서 원천 도메인 지식의 치명적인 기억 상실을 방지하는가?
• RQ3 레이블이 없는 타겟 도메인 문단의 수가 늘어남에 따라 제안된 방법의 성능은 어떻게 변화하는가?
• RQ4 원천 도메인 선택이 적응 성능에 어떤 영향을 미치는가?
• RQ5 원천 도메인 독해 이해 데이터의 어느 정도가 타겟 도메인에서 우수한 성능을 달성하기 위해 필요한가?

주요 결과

• 제안된 다중 작업 학습 모델은 위키백과(SQuAD)에서 생물의학 도메인(BioASQ)으로의 적응에서 EM/F1 점수로 각각 4.3/4.2 포인트 향상되었으며, 적응이 없는 기준 모델을 뛰어넘었다.
• 타겟 도메인에서 레이블이 없는 문단이 500개 밖에 없더라도 모델은 EM/F1 점수로 각각 3.7/3.3 포인트 향상되었으며, 최소한의 데이터로도 효과적임을 보였다.
• 순차적 적응 기반 모델보다 성능이 뛰어나, 공동 최적화가 원천 도메인 지식의 기억 상실을 방지함을 시사한다.
• 원천 도메인 독해 이해 데이터가 많을수록 성능 향상이 이루어졌으며, 10,000개의 학습 인스턴스 이하에서는 급격한 향상이 있었고, 이후에는 성장률이 둔화되었다.
• 원천 도메인 선택이 성능에 상당한 영향을 미쳤다: SQuAD는 BioASQ로의 적응에서 NewsQA를 능가했지만, DuoRC에서는 성능이 유사했다.
• 언어 모델링과 독해 이해 훈련 단계 비율(k)의 최적값은 도메인에 따라 달라졌으며, k=10과 k=100 모두 도메인의 BERT 사전 훈련 분포와의 거리에 따라 강력한 성능을 보였다.