[논문 리뷰] Unsupervised Domain Adaptation of Contextualized Embeddings: A Case Study in Early Modern English.

Xiaochuang Han, Jacob Eisenstein|arXiv (Cornell University)|2019. 04. 04.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 BERT와 같은 컨텍스트 기반 임베딩을 저자원, 타도메인 텍스트—특히 엔글리시의 초기 현대어와 트위터—에 적응시키기 위해 도메인 적응형 피니테이닝을 제안한다. 이는 마스킹된 언어 모델링을 통해 타도메인의 레이블이 없는 텍스트로 사전학습을 수행함으로써 이루어진다. 이 방법은 특히 OOV(Out-of-Vocabulary) 단어에서 뚜렷한 성능 향상을 보이며, 타도메인의 레이블 데이터가 필요하지 않은 표준 BERT 베이스라인을 능가한다.

ABSTRACT

Contextualized word embeddings such as ELMo and BERT provide a foundation for strong performance across a wide range of natural language processing tasks by pretraining on large corpora of unlabeled text. However, the applicability of this approach is unknown when the target domain varies substantially from the pretraining corpus. We are specifically interested in the scenario in which labeled data is available in only a canonical source domain such as newstext, and the target domain is distinct from both the labeled and pretraining texts. To address this scenario, we propose domain-adaptive fine-tuning, in which the contextualized embeddings are adapted by masked language modeling on text from the target domain. We test this approach on sequence labeling in two challenging domains: Early Modern English and Twitter. Both domains differ substantially from existing pretraining corpora, and domain-adaptive fine-tuning yields substantial improvements over strong BERT baselines, with particularly impressive results on out-of-vocabulary words. We conclude that domain-adaptive fine-tuning offers a simple and effective approach for the unsupervised adaptation of sequence labeling to difficult new domains.

연구 동기 및 목표

• 표준 사전학습 코퍼스와 상당히 다를 도메인에 사전학습된 컨텍스트 기반 임베딩를 적용하는 데 도전하는 것.
• 뉴스기사와 같은 소스 도메인에서만 레이블 데이터가 이용 가능한 상황에서, 타도메인은 독립적이고 저자원임을 고려한 비지도 도메인 적응을 탐색하는 것.
• 표준 BERT 모델이 도메인 이동으로 인해 성능이 떨어지는 도전적인 도메인—예를 들어 초기 현대어와 트위터—에서 시퀀스 레이블링 성능을 향상시키는 것.
• 타도메인의 레이블이 없는 텍스트에서 도메인 적응형 피니테이닝을 수행함으로써 컨텍스트 기반 임베딩를 효과적으로 적응시킬 수 있는지 평가하는 것.

제안 방법

• BERT 스타일의 컨텍스트 기반 임베딩를 마스킹된 언어 모델링을 사용해 타도메인의 레이블이 없는 텍스트로 추가 사전학습하는 도메인 적응형 피니테이닝을 제안한다.
• BERT와 동일한 아키텍처를 사용하지만, 초기 현대어 문헌이나 트위터 게시물과 같은 도메인 전용 텍스트로 계속 사전학습한다.
• 대규모의 타도메인 전용 레이블이 없는 코퍼스를 사용해 컨텍스트 기반 표현을 도메인 전용 언어 패턴에 적응시킨다.
• 레이블이 있는 타도메인 데이터로 피니테이닝 없이도 시퀀스 레이블링 작업(예: 명명된 엔티티 인식 또는 품사 태깅)에 적응된 임베딩를 적용한다.
• 초기 BERT 사전학습은 소스 도메인의 레이블 데이터만 사용하고, 타도메인의 레이블 데이터는 전혀 사용하지 않는 조건에서 최종 시퀀스 레이블링 작업 성능을 평가한다.
• 표준 BERT 베이스라인과의 비교를 통해 도메인 적응형 피니테이닝의 영향을 분리하여 평가한다.

실험 결과

연구 질문

• RQ1 도메인 적응형 피니테이닝은 초기 현대어와 트위터와 같은 저자원 도메인에서 시퀀스 레이블링 성능을 향상시킬 수 있는가?
• RQ2 타도메인 텍스트에서 마스킹된 언어 모델링을 통한 컨텍스트 기반 임베딩의 비지도 적응이 표준 BERT 피니테이닝보다 더 나은 일반화 성능을 보이는가?
• RQ3 도메인 적응형 피니테이닝은 도전적인 도메인에서 OOV 단어의 성능에 어떤 영향을 미치는가?
• RQ4 사전학습 도메인과 타도메인 간의 도메인 이동이 표준 BERT 모델의 성능을 얼마나 제한하는가?
• RQ5 타도메인에서 레이블 데이터가 전혀 없을 경우 도메인 적응형 피니테이닝은 효과적인가?

주요 결과

• 도메인 적응형 피니테이닝은 초기 현대어와 트위터 양 도메인에서 강력한 BERT 베이스라인에 비해 시퀀스 레이블링 작업에서 뚜렷한 성능 향상을 이룬다.
• 특히 OOV 단어에서 매우 높은 성능 향상을 보이며, 희귀하거나 알려지지 않은 형태로의 일반화 능력 향상이 확인된다.
• 성능 향상은 두 도메인 모두에서 일관되게 나타나, 다양한 언어적 이동에 대한 방법의 강건성을 입증한다.
• 이 방법은 타도메인의 레이블 데이터가 전혀 필요 없이 이러한 성과를 달성함으로써 저자원 환경에 적합함을 보여준다.
• 타도메인 텍스트에서 마스킹된 언어 모델링을 통한 컨텍스트 기반 임베딩의 적응은 비지도 도메인 적응을 위한 효과적이고 단순한 전략임을 확인한다.
• 연구는 타도메인에서 레이블 데이터가 이용 가능하지 않을 경우, 감독 피니테이닝의 대안으로서 도메인 적응형 피니테이닝이 실현 가능하고 효과적인 방법임을 입증한다.