[논문 리뷰] Improved Pretraining for Domain-specific Contextual Embedding Models.

Subendhu Rongali, Abhyuday Jagannatha외 2명|arXiv (Cornell University)|2020. 04. 05.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 BERT 및 RoBERTa와 같은 컨텍스트 임베딩 모델의 도메인 특화 사전학습 중 치명적인 잊음(catastrophic forgetting)을 완화하기 위해 지속적 학습 기법—재경청(rehearsal)과 탄성 가중치 통합(elastic weight consolidation, EWC)—을 사용하는 것을 제안한다. 이러한 방법을 적용함으로써 일반 도메인 지식을 유지하면서도 표준 미세조정(baseline)에 비해 도메인 특화 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

We investigate methods to mitigate catastrophic forgetting during domain-specific pretraining of contextual embedding models such as BERT, DistilBERT, and RoBERTa. Recently proposed domain-specific models such as BioBERT, SciBERT and ClinicalBERT are constructed by continuing the pretraining phase on a domain-specific text corpus. Such pretraining is susceptible to catastrophic forgetting, where the model forgets some of the information learned in the general domain. We propose the use of two continual learning techniques (rehearsal and elastic weight consolidation) to improve domain-specific training. Our results show that models trained by our proposed approaches can better maintain their performance on the general domain tasks, and at the same time, outperform domain-specific baseline models on downstream domain tasks.

연구 동기 및 목표

• 컨텍스트 임베딩 모델(예: BERT 및 RoBERTa)의 도메인 특화 사전학습 중 치명적인 잊음을 해결하기 위해.
• 도메인 특화 코퍼스에서의 미세조정 중 일반 도메인 지식의 모델 유지 능력을 향상시키기 위해.
• 일반 언어 이해 능력을 훼손하지 않으면서 도메인 특화 NLP 작업에서의 최종 성능을 향상시키기 위해.
• 지속적 학습 기법—재경청과 탄성 가중치 통합—이 도메인 적응 사전학습 맥락에서 효과적으로 작용하는지 평가하기 위해.

제안 방법

• 일반 도메인 사전학습 데이터에서 소규모이자 대표적인 부분집합을 저장하여 도메인 특화 사전학습 기간 동안 재접촉하도록 하는 재경청 적용.
• 일반 도메인 지식에 핵심적인 파라미터를 선택적으로 정규화하기 위해 탄성 가중치 통합(EWC) 구현.
• 도메인 특화 코퍼스에서의 지속적 사전학습 단계 동안 재경청과 EWC를 통합하여 적용.
• 비교를 위한 기준으로 표준 미세조정을 사용하여 도메인 특화 모델 훈련.
• 모든 모델에서 동일한 아키텍처와 초모수를 사용하여 공정한 비교 보장.
• 일반 도메인 및 도메인 특화 최종 작업에서의 성능 평가를 통해 지식 유지 및 적응 능력 측정.

실험 결과

연구 질문

• RQ1 재경청과 탄성 가중치 통합이 컨텍스트 임베딩 모델의 도메인 특화 사전학습 중 치명적인 잊음을 효과적으로 줄일 수 있는가?
• RQ2 이러한 지속적 학습 기법은 도메인 적응 후 일반 도메인 NLP 작업에서의 성능를 어느 정도 유지하는가?
• RQ3 이러한 기법을 사용해 훈련된 모델은 도메인 특화 최종 작업에서 표준 미세조정 기준보다 뛰어난 성능을 보일 수 있는가?
• RQ4 다양한 도메인 특화 코퍼스에서 재경청과 EWC 기법의 성능 및 안정성 측면에서 상호 비교는 어떻게 이루어지는가?

주요 결과

• 재경청과 탄성 가중치 통합을 사용해 훈련된 모델는 표준 미세조정 기준에 비해 일반 도메인 최종 작업에서 유의미하게 높은 성능를 유지하였다.
• 제안된 방법은 BioBERT 및 SciBERT과 같은 기존 도메인 특화 모델을 능가하는 최신 기술 수준의 성능를 달성하여 여러 도메인 특화 최종 작업에서 뛰어난 성능를 보였다.
• 재경청과 EWC의 조합은 평가된 모든 도메인에서 지식 유지 능력 향상과 더불어 개선된 적응 정확도를 달성하였다.
• 제한된 재경청 데이터 조건에서도 표준 미세조정에 비해 일반 도메인 능력을 더 효과적으로 유지하였다.