[논문 리뷰] Can Monolingual Pretrained Models Help Cross-Lingual Classification?

Zewen Chi, Li Dong외 3명|arXiv (Cornell University)|2019. 11. 10.

Topic Modeling참고 문헌 17인용 수 5

한 줄 요약

이 논문은 단일 언어로 미리 훈련된 모델(예: RoBERTa)에서 다국어 모델(예: mBERT)으로 작업 특화 지식을 전이하는 지식 정련 및 가짜 레이블링 프레임워크인 MonoX를 제안한다. 이는 제로샷 다국어 텍스트 분류를 위한 것이다. 단일 언어 교사 모델의 소프트 또는 하드 레이블을 사용하여 다국어 학생 모델을 피지컬 훈련시킴으로써, 일반적인 다국어 훈련 대비 성능 향상을 이룬다. CLS에서 평균 정확도가 4.91% 향상되었고, 여러 언어에서 XNLI에서 2.5~3.0% 향상되었다.

ABSTRACT

Multilingual pretrained language models (such as multilingual BERT) have achieved impressive results for cross-lingual transfer. However, due to the constant model capacity, multilingual pre-training usually lags behind the monolingual competitors. In this work, we present two approaches to improve zero-shot cross-lingual classification, by transferring the knowledge from monolingual pretrained models to multilingual ones. Experimental results on two cross-lingual classification benchmarks show that our methods outperform vanilla multilingual fine-tuning.

연구 동기 및 목표

• 다국어 미리 훈련된 모델과 단일 언어 미리 훈련된 모델 간의 성능 격차를 해결하기 위해 다국어 전이 학습에서의 성능 격차를 해소하는 것.
• 라벨이 없는 목표 언어 데이터가 필요 없이 단일 언어 모델이 다국어 모델의 성능을 향상시킬 수 있는지 조사하는 것.
• 제로샷 환경에서 다국어 모델이 단일 언어 모델로부터 학습할 수 있도록 지식 정련 및 가짜 레이블링 프레임워크를 개발하는 것.
• 여러 언어와 벤치마크에서 제로샷 다국어 텍스트 분류에 이 방법의 효과성을 평가하는 것.

제안 방법

• 소스 언어의 레이블된 데이터에서 단일 언어 RoBERTa 모델을 훈련하여 교사 모델을 생성한다.
• 소프트 레이블을 사용하여 지식 정련을 통해 다국어 학생 모델(mBERT)에 지식을 전달한다.
• 학생 모델의 예측을 교사의 소프트 레이블과 일치시키기 위해 온도 조절된 교차 엔트로피 손실을 사용한다.
• 교사 모델이 레이블이 없는 소스 데이터에 대해 높은 신뢰도로 예측한 결과를 사용하여 훈련 데이터를 보강한다.
• 레이블된 데이터와 가짜 레이블된 예제를 조합한 데이터셋을 사용하여 하드 레이블로 다국어 학생 모델을 훈련한다.
• 조합된 데이터에서 표준 교차 엔트로피 손실을 사용하여 학생 모델을 최적화함으로써 목표 언어로의 제로샷 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 언어 미리 훈련된 모델이 제로샷 다국어 텍스트 분류 성능을 다국어 모델에 향상시킬 수 있는가?
• RQ2 단일 언어 교사 모델에서의 지식 정련이 자원이 적은 목표 언어에서 더 나은 일반화 성능을 이끌어내는가?
• RQ3 단일 언어 교사 모델에서 유도된 가짜 레이블 데이터의 사용이 다국어 학생 모델의 성능에 어떤 영향을 미치는가?
• RQ4 온도 조절 파라미터와 같은 하이퍼파라미터에 이 방법이 얼마나 민감한가?
• RQ5 단일 언어 교사 모델에서 유래한 성능 향상 효과가 다양한 데이터 크기와 NLP 작업에서 지속되는가?

주요 결과

• MonoX는 제로샷 다국어 감성 분류를 위한 CLS 벤치마크에서 일반적인 다국어 훈련 대비 평균 정확도가 4.91% 향상되었다.
• MonoX-Pl과 MonoX-Kd는 각각 XNLI에서 평균 정확도 72.1%와 72.0%를 기록했으며, mBERT의 68.6%보다 높은 성능을 보였다. 이는 여러 언어에서 일관된 성능 향상을 보였다.
• 학습 데이터의 10%만으로도 성능 향상이 가능했으며, 자원이 부족한 상황에서 XNLI에서 최대 3.0% 향상된 성능을 기록했다.
• 온도가 0.1인 지식 정련이 가장 우수한 결과를 냈으며, 다양한 온도 값에 대해 안정적인 성능을 보였다.
• 지식 정련 없이 레이블이 없는 데이터만 사용하는 mBert-St는 mBERT 대비 거의 향상되지 않았으며, 이는 MonoX의 성능 향상이 단순한 데이터 증강이 아니라 지식 전달에서 기인함을 확인한다.
• 단일 언어 교사 모델은 소스 언어 뿐 아니라 제로샷 목표 언어에서도 성능 향상을 이끌어내어 효과적인 다국어 지식 전이를 보여주었다.