[논문 리뷰] Continual Domain-Tuning for Pretrained Language Models

Subendhu Rongali, Abhyuday Jagannatha외 2명|arXiv (Cornell University)|2020. 04. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 8

한 줄 요약

이 논문은 사전에 훈련된 언어 모델(예: BERT, RoBERTa)의 도메인 튜닝 중 치명적인 잊음 현상을 완화하기 위해 지속적 학습(Continual Learning, CL) 방법—특히 탄성 가중치 통합(Elastic Weight Consolidation, EWC)—을 제안한다. 소스 도메인 지식을 유지하도록 파라미터 업데이트를 제약함으로써 EWC는 표준 도메인 튜닝(SDT)에 비해 약간의 계산 부담만으로도 최종 작업 성능과 도메인 이동에 대한 강건성을 향상시킨다.

ABSTRACT

Pre-trained language models (LM) such as BERT, DistilBERT, and RoBERTa can be tuned for different domains (domain-tuning) by continuing the pre-training phase on a new target domain corpus. This simple domain tuning (SDT) technique has been widely used to create domain-tuned models such as BioBERT, SciBERT and ClinicalBERT. However, during the pretraining phase on the target domain, the LM models may catastrophically forget the patterns learned from their source domain. In this work, we study the effects of catastrophic forgetting on domain-tuned LM models and investigate methods that mitigate its negative effects. We propose continual learning (CL) based alternatives for SDT, that aim to reduce catastrophic forgetting. We show that these methods may increase the performance of LM models on downstream target domain tasks. Additionally, we also show that constraining the LM model from forgetting the source domain leads to downstream task models that are more robust to domain shifts. We analyze the computational cost of using our proposed CL methods and provide recommendations for computationally lightweight and effective CL domain-tuning procedures.

연구 동기 및 목표

• 사전에 훈련된 언어 모델을 새로운 도메인에 적응시키는 표준 도메인 튜닝(SDT)에서 치명적인 잊음 현상이 최종 작업 성능에 미치는 영향을 조사하는 것.
• 지속적 학습(CL) 기법이 도메인 튜닝 중 소스 도메인 지식을 얼마나 효과적으로 감소시키는지 평가하는 것.
• 앞서 학습한 도메인과 이후에 학습할 도메인의 작업 성능을 모두 향상시키는 전방 및 후방 전이를 향상시키는 CL 방법을 특정하는 것.
• CL 기반 도메인 튜닝의 계산 비용을 분석하고 실용적 구현을 위한 경량이며 효과적인 방법을 권장하는 것.
• fine-tuning 중 소스 도메인 표현을 유지함으로써 최종 모델의 도메인 이동에 대한 강건성을 향상시키는 것.

제안 방법

• L2 정규화, 탄성 가중치 통합(EWC), 경험 재생(ER), 기울기 에피소딕 메모리(GEM), 정규화 히브시안(RH)의 다섯 가지 기존 CL 방법을 도메인 튜닝 설정에 적응시킨다.
• 소스 도메인 데이터의 작은 샘플(WikiText)에서 EWC를 사용해 피셔 정보 행렬 근사치를 계산하여 중요도가 높은 파라미터를 식별한다.
• 목표 도메인 코퍼스에서의 계속된 미세조정 중에 CL 제약 조건을 적용하여 소스 도메인 성능에 중요한 파라미터의 큰 업데이트를 방지한다.
• pre트레인을 위해 표준 마스킹 언어 모델링(MLM) 손실을 사용하고, 추출형 질의 응답 및 자연어 추론 작업에서 미세조정을 수행한다.
• 전방 전이(소스 사전학습이 목표 작업에 미치는 영향)와 후방 전이(목표 도메인 튜닝이 소스 작업에 미치는 영향)를 핵심 평가 지표로 사용한다.
• 각 방법의 계산 비용을 비교하며, EWC와 L2는 SDT와 거의 동일한 효율성을 보이며, GEM과 RH는 미니배치 단위 기울기 계산으로 인해 약 두 배 정도 더 비싸다는 점을 기록한다.

실험 결과

연구 질문

• RQ1 표준 도메인 튜닝(SDT)에서 치명적인 잊음 현상이 목표 도메인의 최종 작업 성능에 어떤 영향을 미치는가?
• RQ2 지속적 학습(CL) 방법 중에서 사전에 훈련된 언어 모델의 도메인 튜닝 중 소스 도메인 지식의 잊음 현상을 가장 효과적으로 줄이는 방법은 무엇인가?
• RQ3 CL 기반 도메인 튜닝 방법은 표준 도메인 튜닝(SDT)에 비해 전방 전이(목표 작업 성능 향상)와 후방 전이(소스 작업 성능 향상)를 향상시키는가?
• RQ4 CL 기반 도메인 튜닝의 계산 비용은 얼마이며, 성능와 효율성 사이의 최적의 균형을 이루는 방법은 무엇인가?
• RQ5 CL 기반 도메인 튜닝된 모델은 최종 미세조정에서 도메인 이동에 대해 더 강건한가?

주요 결과

• 탄성 가중치 통합(EWC)은 성능과 계산 효율성 사이의 최적 균형을 달성하며, SDT에 비해 뛰어난 후방 전이 성능과 경쟁 가능한 전방 전이 성능을 보였다.
• RH는 평균적으로 전방 전이 성능에서 EWC를 능가하지만, 계산 비용이 크게 높아 큰 모델에선 실용성이 떨어진다.
• EWC는 SDT보다 최종 작업 출력 변수에 대한 정보를 더 많이 담고 있는 잠재 표현을 생성함으로써 더 나은 특징 학습을 이룬다.
• EWC로 튜닝된 가중치로 초기화된 최종 모델은 목표 도메인에서 소스 도메인으로의 전이(예: 타겟 → 소스 전이)에 더 강건함을 보이며, 일반화 능력이 향상됨을 입증했다.
• 작은 모델인 DistilBERT의 경우 EWC가 성능이 열 劣하며, GEM과 RH가 더 나은 대안이지만 계산 비용이 높다.
• L2와 EWC는 계산 오버헤드가 극히 적어 SDT보다 약간 더 높을 뿐이며, 실세계 구현에 이상적이다.