[논문 리뷰] Impact of Tokenization on Language Models: An Analysis for Turkish

Çağrı Toraman, Eyüp Halit Yılmaz외 2명|arXiv (Cornell University)|2022. 04. 19.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 연구는 어휘 크기가 다양한 다양한 어휘 크기로 RoBERTa-TR-medium 모델을 훈련시켜 터키어 언어 모델링에서 문자 수준, BPE, WordPiece, 형태소 수준, 단어 수준의 다섯 가지 토크나이제이션 방법을 평가한다. 결과적으로 형태소 수준 토크나이제이션이 BPE 및 WordPiece와 경쟁 가능하며, 어휘 크기를 늘릴수록 BPE 및 WordPiece보다 형태소 수준 및 단어 수준 토크나이저에서 성능 향상이 더 두드러지며, 최적의 파라미터 비율은 기존 방법에 대해 20%, 다른 방법에 대해 40%로 나타났다.

ABSTRACT

Tokenization is an important text preprocessing step to prepare input tokens for deep language models. WordPiece and BPE are de facto methods employed by important models, such as BERT and GPT. However, the impact of tokenization can be different for morphologically rich languages, such as Turkic languages, where many words can be generated by adding prefixes and suffixes. We compare five tokenizers at different granularity levels, i.e. their outputs vary from smallest pieces of characters to the surface form of words, including a Morphological-level tokenizer. We train these tokenizers and pretrain medium-sized language models using RoBERTa pretraining procedure on the Turkish split of the OSCAR corpus. We then fine-tune our models on six downstream tasks. Our experiments, supported by statistical tests, reveal that Morphological-level tokenizer has challenging performance with de facto tokenizers. Furthermore, we find that increasing the vocabulary size improves the performance of Morphological and Word-level tokenizers more than that of de facto tokenizers. The ratio of the number of vocabulary parameters to the total number of model parameters can be empirically chosen as 20% for de facto tokenizers and 40% for other tokenizers to obtain a reasonable trade-off between model size and performance.

연구 동기 및 목표

• 다양한 토크나이제이션 정밀도 수준이 터키어 언어 모델링 성능에 미치는 영향을 조사하는 것.
• 다양한 토크나이제이션 방법에서 어휘 크기가 모델 성능에 미치는 영향을 평가하는 것.
• 어휘 파라미터 비율을 기반으로 모델 크기와 성능 사이의 실용적 트레이드오프 가이드라인을 제공하는 것.
• 연구 및 응용을 위해 다양한 토크나이저를 갖춘 공개 가능한 RoBERTa-TR-medium 모델을 배포하는 것.
• 편향된 코퍼스에서의 프리트레인의 환경적 및 윤리적 영향, 즉 탄소 배출량과 공정성에 대한 고려

제안 방법

• 터키어 OSCAR 코퍼스를 기반으로 중간 크기의 RoBERTa 모델을 다섯 가지 토크나이제이션 방법(문자 수준, BPE, WordPiece, 형태소 수준, 단어 수준)을 사용해 프리트레인한다.
• 모든 토크나이저를 동일한 데이터에서 훈련하고, 이를 바탕으로 유래된 모델을 여섯 가지 유래 NLP 작업에서 미세조정한다.
• 모든 토크나이저 간 공정한 비교를 위해 제어된 초모수를 사용한 RoBERTa 프리트레인 절차를 사용한다.
• 유래 작업에서 표준 지표를 사용해 성능을 측정하고 통계적 검증을 통해 유의미성을 확인한다.
• 지역 전환 요소를 사용해 에너지 소비 및 CO₂ 배출량을 추정하여 탄소 발자국을 평가한다.
• 최적의 트레이드오프를 위한 어휘 파라미터 비율(기존 방법에 대해 20%, 형태소/단어 수준에 대해 40%)을 경험적으로 제안한다.

실험 결과

연구 질문

• RQ1 RQ-1: 다양한 토크나이제이션 방법이 터키어 언어 모델링 및 유래 작업 성능에 어떤 영향을 미치는가?
• RQ2 RQ-2: 다양한 토크나이제이션 방법에서 어휘 크기가 모델 성능에 어떻게 영향을 미치는가?
• RQ3 RQ-3: 모델 크기와 성능를 균형 잡기 위해 어휘 파라미터 수와 총 모델 파라미터 수의 최적 비율은 무엇인가?
• RQ4 RQ-4: 다양한 토크나이제이션 방법이 에너지 소비 및 탄소 발자국에 어떤 영향을 미치는가?
• RQ5 RQ-5: 편향된 코퍼스에서의 프리트레인은 공정성 및 윤리적 함의를 어떻게 갖는가?

주요 결과

• 형태소 수준 토크나이저는 BPE 및 WordPiece와 유사한 성능을 달성하여, 형태소가 풍부한 언어인 터키어에 매우 높은 잠재력을 보여준다.
• 어휘 크기를 늘릴수록 형태소 수준 및 단어 수준 토크나이저에서 BPE 및 WordPiece보다 성능 향상이 더 두드러지게 나타난다.
• 어휘 파라미터 수와 총 모델 파라미터 수의 최적 비율은 경험적으로 BPE/WordPiece에 대해 20%, 형태소/단어 수준 토크나이저에 대해 40%로 확인되었다.
• RoBERTa-TR-medium 모델들은 크기가 약 3배 작아지면서도 최신 상태의 모델의 97% 수준의 성능를 달성한다.
• 자연어 추론에 대한 미세조정은 가장 많은 에너지를 소비했으며(17.5kWh), 감성 분석은 가장 적은 에너지를 소비했다(1.25kWh).
• 프리트레인의 추정 탄소 발자국은 18.15~28.875kWh(1.8~3.0kg CO₂에 해당)이며, 실험당 하한 기준 사회적 비용은 117.42달러이다.