[논문 리뷰] Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling

Xiaochuang Han, Jacob Eisenstein|arXiv (Cornell University)|2019. 04. 04.

Topic Modeling참고 문헌 47인용 수 8

한 줄 요약

이 논문은 사전에 훈련된 컨텍스트 기반 임베딩(예: BERT)을 레이블이 없는 타겟 도메인에서의 과제에 적응시키기 위해 도메인 적응형 미세조정을 제안한다. 마스크된 언어 모델링을 사용해 타겟 도메인의 레이블이 없는 텍스트에서 BERT를 미세조정함으로써, 특히 OOV(Out-of-Vocabulary) 단어에서 뚜렷한 성능 향상을 이룬다. 이는 강력한 BERT 기반 기준 모델을 능가하며, 치명적인 기억 상실을 피한다.

ABSTRACT

Contextualized word embeddings such as ELMo and BERT provide a foundation for strong performance across a wide range of natural language processing tasks by pretraining on large corpora of unlabeled text. However, the applicability of this approach is unknown when the target domain varies substantially from the pretraining corpus. We are specifically interested in the scenario in which labeled data is available in only a canonical source domain such as newstext, and the target domain is distinct from both the labeled and pretraining texts. To address this scenario, we propose domain-adaptive fine-tuning, in which the contextualized embeddings are adapted by masked language modeling on text from the target domain. We test this approach on sequence labeling in two challenging domains: Early Modern English and Twitter. Both domains differ substantially from existing pretraining corpora, and domain-adaptive fine-tuning yields substantial improvements over strong BERT baselines, with particularly impressive results on out-of-vocabulary words. We conclude that domain-adaptive fine-tuning offers a simple and effective approach for the unsupervised adaptation of sequence labeling to difficult new domains.

연구 동기 및 목표

• 사전 훈련된 컨텍스트 기반 임베딩를 사전 훈련 분포와 상당히 다를 수 있는 도메인(예: 역사적 또는 소셜 미디어 텍스트)에 적용하는 데 도전하는 것.
• 레이블이 있는 데이터가 소스 도메인(예: 뉴스 텍스트)에서만 이용 가능한 상황에서 비지도 도메인 적응이 시퀀스 태깅 성능을 향상시킬 수 있는지 조사하는 것.
• 레이블이 없는 타겟 도메인 텍스트에서 도메인 적응형 미세조정을 수행함으로써 소스 도메인 성능이 저하되지 않으면서도 OOV 단어에서 성능 향상을 이룰 수 있는지 평가하는 것.
• 초기화된 레이블 기반 미세조정과 비교해 비지도 도메인 적응형 미세조정의 효과성을 평가하는 것 — 특히 치명적인 기억 상실을 유발할 수 있는 위험을 고려하여.

제안 방법

• 도메인 적응형 미세조정을 제안: 마스크된 언어 모델링 목적함수를 사용해 레이블이 없는 타겟 도메인 텍스트에서 BERT를 미세조정하는 방법.
• 표준 사전 훈련 코퍼스와는 상당히 다른 두 가지 도전적인 도메인인 초기 현대 영어와 트위터에 이 방법을 적용.
• 소스 도메인 레이블이 있는 데이터로 사전에 미세조정된 동일한 BERT 모델을 기반으로 하되, 이후 레이블이 없는 타겟 도메인 텍스트에서 추가로 적응시킴.
• 희귀어 및 OOV 단어를 다루기 위해 워드피ece 토크나이저를 사용하여 자원이 적은 도메인에서의 강건성을 향상.
• 타겟 도메인의 레이블 데이터를 사용하지 않음으로써 치명적인 기억 상실을 방지하고 소스 도메인에서의 성능 유지를 보장.
• 품사 태깅 및 명명된 실체 인식 성능을 평가하며, 강력한 BERT 기반 기준 모델 및 이전의 비지도 도메인 적응 방법과 비교.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 도메인 데이터가 존재하는 상황에서 비지도 도메인 적응형 미세조정이 초기 현대 영어나 트위터와 같은 이질적 텍스트의 시퀀스 태깅 성능을 향상시킬 수 있는가?
• RQ2 소스 도메인에서의 성능 저하 측면에서 도메인 적응형 미세조정은 감독 기반 미세조정보다 어떻게 비교되는가?
• RQ3 자원이 적은 도메인에서 OOV 단어에 대해 도메인 적응형 미세조정이 뚜렷한 성능 향상을 이끌어낼 수 있는가?
• RQ4 역사적 변화(예: 역사적 영어)와 스타일 변화(예: 소셜 미디어)와 같은 다양한 종류의 도메인 이동에 대해 도메인 적응형 미세조정의 성능 향상이 일관된가?
• RQ5 치명적인 기억 상실 없이 비지도 미세조정을 통해 단일 BERT 모델을 다수의 도메인에 효과적으로 적응시킬 수 있는가?

주요 결과

• 도메인 적응형 미세조정은 초기 현대 영어에서 OOV 단어에 대해 50퍼센트 이상의 오류 감소를 이끌어내며, 강력한 BERT 기반 기준 모델보다 뚜렷한 성능 향상을 보였다.
• 트위터에서 명명된 실체 인식 성능이 향상되어 2016년 WNUT 공동 과제에서 발표된 대부분의 시스템을 능가했다.
• 감독 기반 미세조정이 소스 도메인에서 성능 저하를 초래하고 치명적인 기억 상실을 유발하는 것과 달리, 도메인 적응형 미세조정은 소스 도메인과 타겟 도메인 양쪽에서 강력한 성능 유지했다.
• 특수한 적응 단계 없이도 BERT 기반 태거가 양 및 아이젠슈타인(2016)의 최신 비지도 도메인 적응 방법을 능가하는 성능을 보였다.
• 이 방법은 역사적 변화(예: 역사적 영어)와 스타일 변화(예: 소셜 미디어)를 포함한 다양한 도메인 이동에 효과적이었으며, 광범위한 적용 가능성을 보였다.
• 결과적으로 비지도 도메인 적응형 미세조정은 단일 모델이 여러 도메인으로 일반화하는 데 기여하며, NLP 분야의 지속적 학습을 위한 유망한 길을 제시한다.