[논문 리뷰] Evaluating Language Model Finetuning Techniques for Low-resource Languages

Jan Christian Blaise Cruz, Charibeth Cheng|arXiv (Cornell University)|2019. 06. 30.

Natural Language Processing Techniques참고 문헌 13인용 수 32

한 줄 요약

본 논문은 Filipino용 WikiText-TL-39를 소개하고 저자 데이터가 제한된 상황에서 BERT와 ULMFiT 파인튜닝을 비교하며 제한된 데이터로도 강건한 성능을 보임을 보여준다.

ABSTRACT

Unlike mainstream languages (such as English and French), low-resource languages often suffer from a lack of expert-annotated corpora and benchmark resources that make it hard to apply state-of-the-art techniques directly. In this paper, we alleviate this scarcity problem for the low-resourced Filipino language in two ways. First, we introduce a new benchmark language modeling dataset in Filipino which we call WikiText-TL-39. Second, we show that language model finetuning techniques such as BERT and ULMFiT can be used to consistently train robust classifiers in low-resource settings, experiencing at most a 0.0782 increase in validation error when the number of training examples is decreased from 10K to 1K while finetuning using a privately-held sentiment dataset.

연구 동기 및 목표

• 데이터 희소 문제 해결을 위해 대규모 필리핀어 텍스트 벤치마크 데이터셋(WikiText-TL-39)을 생성한다.
• 전이 학습 기법(BERT, ULMFiT)이 제한된 라벨 데이터로의 다운스트림 분류에서 어떻게 수행되는지 평가한다.
• 학습 데이터 축소가 검증 성능에 미치는 영향을 정량화하여 파인튜닝 방법의 강건성을 확립한다.

제안 방법

• 두 가지 어휘(290k 및 30k)와 두 대소문자(cased 및 uncased)로 필리핀어 코퍼스에서 BERT Base 모델을 사전 학습한다.
• 같은 필리핀어 코퍼스에서 AWD-LSTM 언어 모델(ULMFiT)을 지정된 하이퍼파라미터로 사전 학습한다.
• 10K-10K, 5K-5K, 1K-1K, 100-100의 학습 데이터 분할로 비공개 보유 감정 데이터셋에 두 모델을 파인튜닝한다.
• 고정된 검증 세트에서 파인튜닝 모델을 평가하여 분할별 검증 손실 및 정확도를 측정한다.
• 데이터 축소에 따른 강건성과 계산/자원 트레이드오프 측면에서 BERT와 ULMFiT를 비교한다.

실험 결과

연구 질문

• RQ1 BERT와 ULMFiT 파인튜닝이 서로 다른 양의 라벨 데이터에서 필리핀어 감정 분류에 얼마나 잘 작동하는가?
• RQ2 학습 데이터를 10K-10K에서 더 작은 분할로 축소할 때 검증 성능에 미치는 영향은 무엇인가?
• RQ3 데이터 희소 상황에서 BERT 또는 ULMFiT로의 사전학습이 더 강건한 성능을 제공하는가?
• RQ4 저자원 설정에서 BERT와 ULMFiT 중 선택 시 계산/자원 고려사항은 무엇인가?

주요 결과

Model Type	Splits	Val Loss	Val Acc	10K Val Acc	Err Increase	10K Err Increase
BERT-Cased	10k-10k	0.3492	0.8817	-	-	-
BERT-Cased	5k-5k	0.3841	0.8760	0.8976	+0.0057	-0.0159*
BERT-Cased	1k-1k	0.4746	0.8200	0.8437	+0.0617	+0.0380
BERT-Cased	100-100	0.6122	0.7333	0.6517	+0.1484	+0.2300
BERT-Uncased	10k-10k	0.3401	0.8887	-	-	-
BERT-Uncased	5k-5k	0.3727	0.8793	0.8970	+0.0094	-0.0083*
BERT-Uncased	1k-1k	0.5667	0.7933	0.8450	+0.0954	+0.0437
BERT-Uncased	100-100	0.6606	0.6333	0.6407	+0.2554	+0.2480
ULMFiT	10k-10k	0.2496	0.9018	-	-	-
ULMFiT	5k-5k	0.2489	0.8961	0.8887	+0.0057	+0.0194
ULMFiT	1k-1k	0.4193	0.8183	0.8236	+0.0835	+0.0782
ULMFiT	100-100	0.7020	0.4390	0.4904	+0.4628	+0.4114

• ULMFiT은 전체 10K-10K 분할에서 최종 검증 정확도 0.9018 달성, 1K-1K에서 작은 오차 증가(0.0835) 및 100-100에서 더 큰 증가(0.4628).
• BERT 파인튜닝은 데이터 축소 시 작은 정확도 하락; 1K-1K 분할에서 cased와 uncased 모두에 대해 보통의 오차 증가.
• BERT가 일반적으로 감소된 데이터 시나리오에서 ULMFiT보다 평균 검증 오차 증가가 작아 데이터 희소성에 더 강건함을 시사.
• BERT-Cased와 BERT-Uncased는 유사한 성능을 보이며, 어떤 분할에서든 uncased가 약간 우세한 경우가 있음.
• ULMFiT은 계산 자원이 낮고 학습 속도가 빨라 사전학습 모델이 없을 때 매력적임.