[論文レビュー] Tokenization Standards for Linguistic Integrity: Turkish as a Benchmark

Mehmet Bayram, Ali Arda Fincan+4 more|ArXiv.org|Feb 10, 2025

Natural Language Processing Techniques被引用数 4

ひとこと要約

論文はトルコ語をベンチマークとして形態素が豊かな言語のトークナイザを評価するフレームワークを提示し、Turkish Token Percentage (TR %) と Pure Token Percentage (Pure %) のような指標を導入、言語的整合性が下流タスクでのモデルサイズの単純大きさよりも性能を上回り得ることを示す。

ABSTRACT

Tokenization is a fundamental preprocessing step in NLP, directly impacting large language models' (LLMs) ability to capture syntactic, morphosyntactic, and semantic structures. This paper introduces a novel framework for systematically evaluating tokenization strategies, addressing challenges in morphologically rich and low-resource languages. Using a Turkish dataset of 6,200 multiple-choice questions from the Massive Multitask Language Understanding (MMLU) benchmark, the framework assesses tokenizers across five key metrics: vocabulary size, token count, processing time, language-specific token percentages (\%TR), and token purity. These metrics provide a structured approach to evaluating how well tokenizers preserve linguistic structures. While \%TR measures the proportion of valid words in the target language, \%Pure assesses the alignment of tokens with meaningful linguistic units, such as roots and valid morphemes, minimizing semantic fragmentation. The findings reveal that \%TR, introduced as a critical metric, exhibits a stronger correlation with downstream performance (e.g., MMLU scores) than token purity, emphasizing its role in improving model accuracy. Additionally, larger model parameters do not necessarily yield better tokenization quality or enhanced results, highlighting the importance of tailored tokenization strategies that prioritize linguistic alignment. This framework sets a new standard for developing robust tokenization methods optimized for morphologically complex and low-resource languages. Future work will refine morphological analysis, explore domain-specific customizations, and conduct cross-linguistic evaluations to further enhance tokenization practices.

研究の動機と目的

• 形態素が豊かで低リソースな言語（例：トルコ語）における linguistically informed tokenization の必要性を動機付ける。
• トークナイザーを評価するための新指標を含む構造化評価フレームワークを提案する。
• トークン化品質、言語的整合性、および下流の MMLU パフォーマンスとの関係を示す。
• より大きなモデルが必ずしもトークン化品質や下流結果を改善しないことを示す。

提案手法

• 語彙サイズ、総トークン数、処理時間、言語特有のトークン割合（%TR）、トークン純度を定義・適用する５つの評価指標を用いる。
• 2つの重要指標として %TR（有効なトルコ語語の割合）と %Pure（意味的に純粋なトークンの割合）を導入・形式化する。
• トークナイザーを評価するデータセットとして、62セクション・6,200問の Turkish TR-MMLU データセットを使用する。
• トルコ語データに対する4つの最先端トークナイザーを比較し、MMLUスコアと言語的/計算的指標を報告する。
• 指標と下流パフォーマンスとの相関を相関行列と多次元プロットで示す。

実験結果

リサーチクエスチョン

• RQ1 トルコ語におけるトークナイゼーション戦略は言語的忠実性と下流パフォーマンスにどのような影響を与えるか？
• RQ2 言語特有のトークン割合（%TR）とトークン純度（%Pure）は、従来の指標（語彙サイズやトークン数）よりも MMLU 結果を予測するのに優れているか？
• RQ3 形態素が豊かな言語において大きなモデルサイズが必ずしもトークン化品質と下流結果を改善するか？
• RQ4 言語情報を組み込んだトークナイザーは、トルコ語NLPのベンチマークでより大きなモデルを上回ることができるか？

主な発見

Model	Parameters (B)	MMLU Score (%)	Vocabulary Size	Token Count	Processing Time (s)	Unique Token Count	TR %	Pure %
gemma-2	27.2	72.10	256,000	497,015	2.95	6,383	48.63	37.05
llama-3.1	70.6	70.42	128,256	488,535	3.12	6,823	45.80	30.91
Qwen2.5	7.6	61.68	151,665	561,866	3.31	5,752	40.33	30.15
aya-expanse	32.3	70.66	255,029	434,526	2.77	8,562	50.67	32.96

• Gemma-2 は最高の MMLU スコア（72.10%）と最高の Pure %（37.05%）を達成し、TR % は 48.63% 。
• Aya-expanse は最高の TR %（50.67%）と競争力のある MMLU スコア（70.66%）を記録。
• Llama-3.1 は MMLU 70.42%、TR % 45.80% のバランスを示すが、Pure % は 30.91%と低い。
• Qwen2.5（7.6Bパラメータ）は MMLU スコア（61.68%）と TR %（40.33%）が最も低いが、語彙数が小さく（151,665）、処理は速い（3.31s）。
• TR % は MMLU と最も強く相関（r = 0.90）、Pure % は次いで相関（r = 0.68）؛ より大きな語彙は TR %（r = 0.77）と Pure %（r = 0.82）と相関。
• 過剰なトークン数と処理時間は言語的指標と負の相関を示す（r = -0.93 および r = -0.60）。