[논문 리뷰] Tokenization Standards for Linguistic Integrity: Turkish as a Benchmark

Mehmet Bayram, Ali Arda Fincan외 4명|ArXiv.org|2025. 02. 10.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 형태소가 풍부한 언어를 위한 토크나이저를 평가하는 프레임워크를 터키어를 벤치마크로 사용하여 제시하고, Turkish Token Percentage (TR %) 및 Pure Token Percentage (Pure %) 같은 지표를 도입하며 언어적 정합성이 다운스트림 작업에서 순수한 모델 크기보다 우수할 수 있음을 보인다.

ABSTRACT

Tokenization is a fundamental preprocessing step in NLP, directly impacting large language models' (LLMs) ability to capture syntactic, morphosyntactic, and semantic structures. This paper introduces a novel framework for systematically evaluating tokenization strategies, addressing challenges in morphologically rich and low-resource languages. Using a Turkish dataset of 6,200 multiple-choice questions from the Massive Multitask Language Understanding (MMLU) benchmark, the framework assesses tokenizers across five key metrics: vocabulary size, token count, processing time, language-specific token percentages (\%TR), and token purity. These metrics provide a structured approach to evaluating how well tokenizers preserve linguistic structures. While \%TR measures the proportion of valid words in the target language, \%Pure assesses the alignment of tokens with meaningful linguistic units, such as roots and valid morphemes, minimizing semantic fragmentation. The findings reveal that \%TR, introduced as a critical metric, exhibits a stronger correlation with downstream performance (e.g., MMLU scores) than token purity, emphasizing its role in improving model accuracy. Additionally, larger model parameters do not necessarily yield better tokenization quality or enhanced results, highlighting the importance of tailored tokenization strategies that prioritize linguistic alignment. This framework sets a new standard for developing robust tokenization methods optimized for morphologically complex and low-resource languages. Future work will refine morphological analysis, explore domain-specific customizations, and conduct cross-linguistic evaluations to further enhance tokenization practices.

연구 동기 및 목표

• 형태소가 풍부하고 저자원인 터키어와 같은 언어에서 linguistically informed tokenization의 필요성을 동기 부여한다.
• 토크나이저를 평가하기 위한 새 지표를 포함한 구조화된 평가 프레임워크를 제안한다.
• 토큰화 품질, 언어 정합성, 다운스트림 MMLU 성능 간의 관계를 보여준다.
• 더 큰 모델이 자동으로 더 나은 토큰화 품질이나 다운스트림 결과를 보장하지는 않는다는 점을 보여준다.

제안 방법

• 다섯 가지 평가 지표를 정의하고 적용한다: 어휘 크기, 총 토큰 수, 처리 시간, 언어별 토큰 비율(%TR), 토큰 순수도.
• 두 가지 핵심 지표를 도입하고 형식화한다: %TR(유효한 터키어 단어의 비율)와 %Pure(의미적으로 순수한 토큰의 비율).
• 터키어 TR-MMLU(TR-MMLU) 데이터셋의 6,200문제를 62개 섹션에 걸쳐 토크나이저를 평가한다.
• 터키어 데이터에 대해 4개의 최신 토크나이저를 비교하고 MMLU 점수와 언어적/계산적 지표를 보고한다.
• 지표와 다운스트림 성능 간의 상관관계를 분석하고 상관관계 행렬과 다차원 플롯으로 시각화한다.

실험 결과

연구 질문

• RQ1 토큰화 전략이 터키어에서 언어적 충실도와 다운스트림 성능에 어떤 영향을 미치는가?
• RQ2 언어별 토큰 비율(%TR)과 토큰 순수도(%Pure)가 전통적인 지표인 어휘 크기나 토큰 수보다 MMLU 결과를 더 잘 예측하는가?
• RQ3 형태소가 풍부한 언어에서 더 큰 모델 크기가 항상 더 나은 토큰화 품질과 다운스트림 결과와 연관되는가?
• RQ4 언어 정보를 반영한 토크나이저가 터키어 NLP 벤치마크에서 더 큰 모델보다 성능이 우수할 수 있는가?

주요 결과

모델	매개변수 (B)	MMLU 점수 (%)	어휘 크기	토큰 수	처리 시간 (초)	고유 토큰 수	TR %	Pure %
gemma-2	27.2	72.10	256,000	497,015	2.95	6,383	48.63	37.05
llama-3.1	70.6	70.42	128,256	488,535	3.12	6,823	45.80	30.91
Qwen2.5	7.6	61.68	151,665	561,866	3.31	5,752	40.33	30.15
aya-expanse	32.3	70.66	255,029	434,526	2.77	8,562	50.67	32.96

• Gemma-2가 가장 높은 MMLU 점수 72.10%와 가장 높은 Pure % 37.05%를 달성했으며 TR %는 48.63%이다.
• Aya-expanse가 최고 TR % 50.67%를 기록하고 경쟁력 있는 MMLU 점수 70.66%를 보인다.
• Llama-3.1은 MMLU 70.42%와 TR % 45.80%의 균형을 보이지만 Pure %는 30.91%로 낮다.
• Qwen2.5 (7.6B 매개변수)은 가장 낮은 MMLU 점수 61.68%와 TR % 40.33%를 보였으나 어휘 수가 작고 처리 속도가 빠르다(동일 표의 표기: 3.31s).
• TR %가 MMLU와 가장 강하게 상관관계를 보이며(r = 0.90), 그다음이 Pure %(r = 0.68)이다; 더 큰 어휘 수는 TR %(r = 0.77) 및 Pure %(r = 0.82)와 양의 상관관계를 보인다.
• 과도한 토큰 수와 처리 시간은 언어적 지표와 음의 상관관계(r = -0.93 및 r = -0.60)로 나타난다.