[논문 리뷰] MultiFiT: Efficient Multi-lingual Language Model Fine-tuning

Julian Martin Eisenschlos, Sebastian Ruder외 4명|arXiv (Cornell University)|2019. 09. 10.

Topic Modeling참고 문헌 18인용 수 7

한 줄 요약

MultiFiT는 단일 GPU를 사용하여 다국어 환경에서 단일 언어 언어 모델을 효율적으로 미세조정하기 위한 방법을 제안한다. 이는 ULMFiT와 QRNN, 서브워드 토크나이저를 결합한 것으로, 다국어 BERT나 LASER와 같은 최신 교차언어 모델조차도 레이블이 100개뿐인 경우에도 뛰어난 성능을 보이며, 최소한의 데이터와 계산 자원으로도 단일 언어 모델의 미세조정이 비용이 많이 드는 교차언어 모델을 능가할 수 있음을 입증한다. 이는 제로샷 및 지도 학습 설정 모두에서 성립한다.

ABSTRACT

Pretrained language models are promising particularly for low-resource languages as they only require unlabelled data. However, training existing models requires huge amounts of compute, while pretrained cross-lingual models often underperform on low-resource languages. We propose Multi-lingual language model Fine-Tuning (MultiFiT) to enable practitioners to train and fine-tune language models efficiently in their own language. In addition, we propose a zero-shot method using an existing pretrained cross-lingual model. We evaluate our methods on two widely used cross-lingual classification datasets where they outperform models pretrained on orders of magnitude more data and compute. We release all models and code.

연구 동기 및 목표

• 저자원 언어에서 교차언어 모델이 제로샷 전이 능력은 갖추고 있음에도 불구하고 성능이 열등한 문제를 해결하기 위해.
• 특히 저자원 언어를 대상으로 다국어 언어 모델 학습에 소요되는 계산 비용을 줄이기 위해.
• 작은 양의 레이블 데이터로 미세조정된 단일 언어 모델이 수천 배 이상 많은 데이터로 훈련된 교차언어 모델을 능가할 수 있음을 입증하기 위해.
• 다양한 언어로의 전이 학습에서 단일 언어 및 교차언어 사전학습 신호의 상호보완성을 탐색하기 위해.

제안 방법

• MultiFiT는 서브워드 토크나이저와 유니버설 언어 모델 미세조정(ULMFiT)을 결합한 준순환신경망(QRNN) 아키텍처를 사용하여 단일 Tesla V100 GPU에서 단일 언어 언어 모델을 효율적으로 훈련한다.
• 사전학습된 교차언어 모델(LASER 등)이 생성한 가짜 레이블을 활용해 타겟 언어에 대한 레이블이 전혀 없는 상태에서도 단일 언어 모델을 초기화하는 제로샷 적응 방법을 도입한다.
• 모델은 언어당 1억 개의 단어 토큰 분량의 단일 언어 위키피디아 데이터로 사전학습되며, 최소 100개의 레이블된 예제로 미세조정된다.
• SentencePiece를 통해 학습된 공통 서브워드 어휘를 사용하여 형태학적으로 복잡하거나 저자원 언어를 효율적으로 처리할 수 있다.
• 레이블 노이즈에 대한 강건성을 평가하기 위해 레이블을 최대 75%까지 무작위로 손상시킨 실험을 수행했으며, 사전학습 덕분에 노이즈가 많은 지도 학습 환경에서도 일반화가 가능함을 확인했다.
• MLDoc 및 CLS 데이터셋에서 서브워드 기반과 단어 기반 토크나이저 전략, 사전학습 유무에 따른 모델 변종 간 성능을 비교했다.

실험 결과

연구 질문

• RQ1 작은 레이블 데이터로 미세조정된 단일 언어 모델이, 수많은 병렬 또는 다국어 사전학습 데이터가 필요한 교차언어 모델을 능가할 수 있는가?
• RQ2 저자원 환경에서 단일 언어 데이터로 사전학습한 모델이 레이블 노이즈에 대해 얼마나 강건한가?
• RQ3 교차언어 모델에서 유도된 가짜 레이블이 단일 언어 미세조정의 제로샷 전이를 얼마나 효과적으로 가능하게 하는가?
• RQ4 형태학적으로 복잡하거나 저자원 언어에서 서브워드 토크나이저가 단어 기반 토크나이저보다 더 효과적인가?
• RQ5 다국어 전이 학습에서 단일 언어 및 교차언어 사전학습 신호가 얼마나 상호보완적인가?

주요 결과

• MultiFiT는 언어당 1,000개의 레이블된 예제로만 미세조정해도 사전학습이 없는 상태에서도 다국어 BERT나 LASER를 능가한다.
• 언어당 레이블이 100개뿐인 경우, MultiFiT는 MLDoc 데이터셋에서 독일어와 프랑스어에 대해 제로샷 방법 전부를 초월하며, 각각 F1 점수 91.34%와 89.45%를 기록한다.
• 사전학습된 MultiFiT 모델은 최대 65%의 레이블 노이즈에 대해서도 강건한 반면, 무작위로 초기화된 모델은 높은 노이즈 수준에서 이론적 기준 이하 성능을 기록한다.
• 서브워드 토크나이저는 독일어나 러시아어를 포함한 대부분의 언어에서 단어 기반 토크나이저보다 높은 정확도와 더 작은 어휘 크기 덕분에 더 빠른 훈련을 가능하게 하여 성능이 뛰어나다.
• 1,000만 개의 단일 언어 사전학습 데이터로 훈련된 MultiFiT는 다국어 BERT나 LASER보다 뛰어난 성능을 보이며, 이들은 훨씬 더 많은 데이터와 계산 자원으로 훈련되었다.
• MultiFiT는 MLDoc 및 CLS 데이터셋에서 8개 언어 전반에 걸쳐 최신 기술 수준의 성능을 기록했으며, 이는 효율적인 단일 언어 미세조정이 비용이 많이 드는 교차언어 대안을 능가할 수 있음을 보여준다.