[논문 리뷰] Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training

Hai Ye, Qingyu Tan외 4명|arXiv (Cornell University)|2020. 09. 24.

Topic Modeling참고 문헌 48인용 수 5

한 줄 요약

이 논문은 사전 훈련된 언어 모델(PrLM)의 특징을 미세튜닝 없이 새로운 도메인과 언어에 적응시키는 자기훈련 방법인 클래스 인식 특징 자기분열(CFd)을 제안한다. 상호정보량을 최대화하고 내부 클래스 특징 거리의 최소화를 동시에 고려함으로써, CFd는 노이즈가 많은 가짜 레이블에 대한 강건성을 향상시켜, 아마존 리뷰 데이터셋에서의 교차도메인 및 다국어 감성 분류 작업 전반에서 일관된 정확도 향상을 달성한다.

ABSTRACT

Adapting pre-trained language models (PrLMs) (e.g., BERT) to new domains has gained much attention recently. Instead of fine-tuning PrLMs as done in most previous work, we investigate how to adapt the features of PrLMs to new domains without fine-tuning. We explore unsupervised domain adaptation (UDA) in this paper. With the features from PrLMs, we adapt the models trained with labeled data from the source domain to the unlabeled target domain. Self-training is widely used for UDA which predicts pseudo labels on the target domain data for training. However, the predicted pseudo labels inevitably include noise, which will negatively affect training a robust model. To improve the robustness of self-training, in this paper we present class-aware feature self-distillation (CFd) to learn discriminative features from PrLMs, in which PrLM features are self-distilled into a feature adaptation module and the features from the same class are more tightly clustered. We further extend CFd to a cross-language setting, in which language discrepancy is studied. Experiments on two monolingual and multilingual Amazon review datasets show that CFd can consistently improve the performance of self-training in cross-domain and cross-language settings.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PrLM)을 미세튜닝 없이 새로운 도메인과 언어에 적응시키는 데 도전하는 것.
• 노이즈가 많은 가짜 레이블의 영향을 줄임으로써, 비지도 도메인 적응(UDA)에서 자기훈련의 강건성을 향상시키는 것.
• 클래스 인식 자기분열을 통해 PrLM에서 분류 가능한 특징을 학습하는 특징 적응 모듈(FAM)을 개발하는 것.
• 다국어 표현 공간을 제공하는 XLM-R을 활용하여, 여러 언어를 공유된 의미 공간에 매핑함으로써 다국어 설정으로의 확장.
• CFd가 이상적인 공동 가설의 오차를 감소시킴으로써 일반화 능력 향상 여부를 경험적으로 검증하는 것.

제안 방법

• 사전 훈련된 언어 모델(PrLM)의 특징을 특징 적응 모듈(FAM)으로 자기분열하는 클래스 인식 특징 자기분열(CFd)을 제안하여, 특징의 분류 능력을 향상시키는 것.
• PrLM 특징과 FAM 특징 간의 상호정보량(MI)을 최대화하여 FAM이 고수준 의미 표현을 잘 포착하도록 보장하는 것.
• FAM 출력에서의 내부 클래스 특징 거리를 최소화하여 클래스 클러스터를 더욱 강화하고, 클래스 간 분리도를 향상시키는 것.
• 고신뢰도 예측을 우선순위로 하고 타겟 도메인의 클래스 분포를 균형 있게 유지하기 위해 재순서 전략을 사용하는 것.
• PrLM의 마지막 N개 레이어에 주의 메커니즘을 통합하여 중간 특징을 효과적으로 융합함으로써, 단순 평균화보다 우수한 성능을 달성하는 것.
• XLM-R을 활용하여 다국어 설정으로의 확장을 도모함으로써, 다국어 표현 공간을 활용해 언어 간 적응을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델을 미세튜닝 없이 자기훈련에 적용할 때, 특징 자기분열이 비지도 도메인 적응에서의 강건성을 향상시킬 수 있는가?
• RQ2 특징 분할에 클래스 인식 클러스터링을 통합할 경우, 타겟 도메인에서의 일반화 능력 향상과 오차 감소에 어떤 영향을 미치는가?
• RQ3 CFd는 다국어 사전 훈련된 모델을 사용할 때 교차도메인 및 교차언어 감성 분류 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 PrLM의 다중 레이어에 주의 메커니즘을 적용하는 것이 단일 레이어나 평균 레이어 융합 전략보다 특징 표현 능력을 향상시키는가?
• RQ5 CFd가 이상적인 공동 가설의 오차를 줄이는 데 있어 기준 자기훈련 및 다른 자기분열 방법과 비교해 어떤가?

주요 결과

• CFd는 MonoAmazon 및 MultiAmazon 데이터셋에서 모든 교차도메인 및 교차언어 설정에서 자기훈련 성능을 일관되게 향상시킨다.
• MonoAmazon 데이터셋에서 BK→M 교차도메인 설정에서 CFd는 70.95%의 정확도를 달성하여 기준 모델(66.59%)과 Fd-only 버전(70.16%)을 모두 초월한다.
• 이상적 가설의 공동 오차가 CFd에 의해 감소되었으며, 특히 BK→M 설정에서 가장 낮은 오차가 관찰되어 일반화 능력 향상이 확인되었다.
• 내부 클래스 손실이 기준 모델의 966.38에서 CFd의 12.17로 크게 감소하여 FAM 특징 공간에서 더 단단한 클래스 클러스터링이 이루어졌음을 시사한다.
• A-distance 지표에 따르면, p+CFd가 도메인 간 이질성(0.22)을 가장 낮게 유지하여 더 나은 도메인 정렬과 감소된 도메인 이동을 나타낸다.
• XLM-R의 마지막 10개 레이어에 주의 메커니즘을 적용한 CFd가 가장 높은 성능을 보였으며, 단일 레이어나 평균 레이어 융합 전략보다 뛰어난 성능을 보였다.