[논문 리뷰] On the Domain Adaptation and Generalization of Pretrained Language Models: A Survey

Xu Guo, Han Yu|arXiv (Cornell University)|2022. 11. 06.

Topic Modeling인용 수 14

한 줄 요약

이 종합 검토는 사전 훈련된 언어 모델(PLM)을 위한 도메인 적응(DA) 방법에 대한 체계적인 분류 체계를 제공하며, 데이터 증강, 모델 최적화, 개인화로 기술을 분류한다. LoRA와 프롬프트 튜닝과 같은 매개변수 효율적 방법은 저자원 또는 도메인 외부 설정으로 PLM를 적응시킬 때 성능 저하와 치명적인 기억 상실을 완화하는 효과적인 솔루션으로 강조된다.

ABSTRACT

Recent advances in NLP are brought by a range of large-scale pretrained language models (PLMs). These PLMs have brought significant performance gains for a range of NLP tasks, circumventing the need to customize complex designs for specific tasks. However, most current work focus on finetuning PLMs on a domain-specific datasets, ignoring the fact that the domain gap can lead to overfitting and even performance drop. Therefore, it is practically important to find an appropriate method to effectively adapt PLMs to a target domain of interest. Recently, a range of methods have been proposed to achieve this purpose. Early surveys on domain adaptation are not suitable for PLMs due to the sophisticated behavior exhibited by PLMs from traditional models trained from scratch and that domain adaptation of PLMs need to be redesigned to take effect. This paper aims to provide a survey on these newly proposed methods and shed light in how to apply traditional machine learning methods to newly evolved and future technologies. By examining the issues of deploying PLMs for downstream tasks, we propose a taxonomy of domain adaptation approaches from a machine learning system view, covering methods for input augmentation, model optimization and personalization. We discuss and compare those methods and suggest promising future research directions.

연구 동기 및 목표

• 도메인 이동과 분포 불일치로 인해 사전 훈련된 언어 모델(PLM)을 도메인 외부 또는 저자원 설정에 적용할 때 성능 저하가 발생하는 문제를 해결하기 위해.
• 기존의 비사전 훈련 모델을 위한 도메인 적응 방법과는 다름없이 전용으로 설계된 PLM를 위한 도메인 적응 기법을 식별하고 분류하기 위해.
• 실제 PLM 배포를 위한 실용적인 목적으로 입력 증강, 모델 최적화, 개인화에 중점을 둔, 체계적이고 기계 학습 시스템 중심의 DA 방법 분류 체계를 제공하기 위해.
• 연구자와 실무자가 치명적인 기억 상실을 방지하고 실제 NLP 응용에서 일반화 능력을 향상시키기 위해 적절한 DA 기법을 선택하거나 조합할 수 있도록 안내하기 위해.
• 확장 가능한 사용자 맞춤형 PLM 배포를 위한 잠재력 있는 방향으로서 개인화된 적응과 종신 학습을 강조하기 위해.

제안 방법

• 세 단계로 구성된 도메인 적응 방법의 분류 체계를 제안: (1) 입력 수준의 데이터 증강, (2) 모델 수준의 최적화(예: 어댑터, LoRA, 프롬프트 튜닝), (3) 사용자 수준의 개인화.
• PLM를 위한 기법들인 도메인 특화 미세튜닝, 적대적 도메인 적응, 매개변수 효율적 적응(예: LoRA, 프롬프트 튜닝, 어댑터)을 검토하고 비교한다.
• 소스 도메인과 타겟 도메인 간 분포 격차를 줄이기 위해 도메인 불변 데이터 샘플링과 역번역을 포함한 입력 수준 증강의 효과를 분석한다.
• 사전 훈련된 매개변수를 동결하고 소수의 하위 집합만 미세튜닝하는 모델 최적화 전략을 검토하여 기억 상실을 줄이고 데이터 효율성을 향상시킨다.
• 후행 적응과 점진적 학습을 포함한 개인화 기법을 평가하여, 다시 시작하지 않고도 사용자 선호도에 맞게 모델을 적응시킬 수 있도록 한다.
• AdaptSum, MultiWOZ, WNUT2016, BioNLP, 아마존 리뷰와 같은 벤치마크 데이터셋을 검토하여 다양한 NLP 작업에서의 도메인 간 성능을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련된 언어 모델의 고유한 동작 특성에 따라 도메인 적응 기법을 효과적으로 적용할 수 있는 방법은 무엇인가? 이는 기존 신경망과 근본적으로 다름.
• RQ2 기존의 도메인 적응 방법과 PLM 전용으로 설계된 방법 사이의 핵심 차이점은 무엇이며, 일부 기존 접근법(예: 도메인 적대적 훈련)이 왜 PLM에서는 실패하는가?
• RQ3 LoRA, 프롬프트 튜닝, 또는 어댑터와 같은 매개변수 효율적 방법이 치명적인 기억 상실을 완화하면서도 소스 도메인과 타겟 도메인 양쪽에서 성능을 유지하는 데 얼마나 효과적인가?
• RQ4 개인화 기법은 어떻게 활용되어 사용자 개개인의 요구에 맞게 진화하는 도메인에 걸쳐 종신적이고 상호작용 가능한 PLM 적응을 가능하게 할 수 있는가?
• RQ5 어떤 도메인 적응 기법이 저자원 또는 도메인 외부 설정에서 더 효과적인지 결정하는 데 핵심이 되는 설계 선택 사항과 메커니즘은 무엇인가?

주요 결과

• LoRA와 프롬프트 튜닝과 같은 매개변수 효율적 방법은 전체 미세튜닝과 유사한 성능를 달성하면서도 훈련 가능한 매개변수 수를 크게 줄이고 치명적인 기억 상실을 완화한다.
• 어댑터 기반 튜닝은 저자원 및 다국어 설정에서 전체 미세튜닝보다 기억 상실에 더 강건한 것으로 나타나, 자료 부족 조건에서 더 나은 일반화 능력을 보임.
• 프롬프트 튜닝은 소수의 예제 설정에서 전체 미세튜닝에 비해 성능이 열 劣하므로, 현재 프롬프트 기반 방법은 추가 아키텍처나 최적화 개선 없이 저자원 적응에 최적화되어 있지 않음을 시사함.
• 역번역과 합성 데이터 생성을 포함한 도메인 특화 데이터 증강은 사전 훈련 도메인과 타겟 도메인 간 분포 이격을 줄여 도메인 간 성능 향상에 기여함.
• 후행 적응과 같은 개인화 기법은 최소한의 재훈련으로도 사용자 맞춤형 모델 업데이트를 가능하게 하여 가상 비서와 같은 상호작용 시스템에 적합함.
• 도메인 적응의 효과성은 사전 훈련 데이터에 타겟 도메인이 얼마나 잘 반영되어 있는지에 크게 의존하므로, PLM 사전 훈련에서 코퍼스 다양성의 중요성을 강조함.