[論文レビュー] An Information-Theoretic Perspective on LLM Tokenizers

Mete Erdogan, Abhiram Rao Gorle+3 more|arXiv (Cornell University)|Jan 14, 2026

Natural Language Processing Techniques被引用数 0

ひとこと要約

要約: この論文はLLMのトークナイザを構造的圧縮アルゴリズムとして分析し、トレーニングデータ規模、語彙サイズ、ドメインが圧縮率、エントロピー、ロバスト性に与える影響を示し、圧縮を意識したトークナイザー設計を導くチャネルベースの視点を提案する。

ABSTRACT

Large language model (LLM) tokenizers act as structured compressors: by mapping text to discrete token sequences, they determine token count (and thus compute and context usage) and the statistical structure seen by downstream models. Despite their central role in LLM pipelines, the link between tokenization, compression efficiency and induced structure is not well understood. We empirically demonstrate that tokenizer training scale redistributes entropy: as training data grows, the token stream becomes more diverse in aggregate (higher unigram entropy) yet markedly more predictable in-context (lower higher-order conditional entropies), indicating that tokenization absorbs substantial short-range regularity although these gains degrade under train-test domain mismatch. To ground these observations, we first benchmark i) pretrained GPT-family tokenizers as black-box compressors across various domains, and ii) learned tokenizers across configurations spanning vocabulary size, training scale, and domain. Next, we study tokenization as a transform for universal compression and introduce a compression-aware BPE variant. Finally, we adopt a channel lens and introduce capacity-utilization metrics to analyze tokenizer behaviour and outline implications for downstream modeling. Put together, our results expose various trade-offs between compression, induced structure, and robustness under domain shift, and motivate principled, compression-aware tokenizer design.

研究の動機と目的

• ドメイン（ニュース、コード、数学）と言語を横断して、事前学習済みGPT系トークナイザをブラックボックス圧縮機としてベンチマークする。
• 語彙サイズ・トレーニング規模・ドメインを横断して学習済みトークナイザを研究し、エントロピーと圧縮のスケーリング傾向を特定する。
• トレイン–テストドメインミスマッチ下でのトークナイザ性能とドメイン適合評価を検討する。
• 普遍的圧縮機との相互作用を調べ、シンプルな容量利用チャネルレンズでトークナイザ挙動を要約する。
• 経験的・理論的洞察に基づく、圧縮を意識した原理的なトークナイザ設計を提案する。

提案手法

• トークナイザを有限アルファベット圧縮機として扱い、従来の圧縮器（gzip、zstd、LZMA）と圧縮効率を比較する。
• 複数ドメイン（C4ニュース、Bigcode Starcoderコード、多言語の中国語/トルコ語/英語/その他）と異なる語彙サイズ（16k、64k、さらには中国語で500kまでの大規模テストを含む）で学習済みトークナイザ（BPE、Unigram、WordPiece、WordLevel）を訓練・評価する。
• テストトークン列上で2つのクラスの指標を計算する：圧縮率（トークンあたりのバイト数）と経験的n-gramエントロピー（ unigram から 5-gram まで）。
• 英語で訓練したトークナイザをトルコ語・コード・中国語で評価し、エントロピーと圧縮の変化を定量化してドメインロバスト性を分析する。
• 普遍的圧縮機の前処理变換としてのトークナイゼーションを探求し、下流のgzip圧縮を最適化するLZ対応のBPEバリアントを提案する。
• 容量利用指標を定義するためのチャネル理論的視点を採用し、語彙サイズ・トークン頻度の偏り・エントロピーを関連付ける。
• 内部テキスト圧縮性とトークナイゼーション密度のドメイン間・トークナイザ間の相関を結果で裏付ける。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みGPT系トークナイザは、異なるドメインと言語でブラックボックス圧縮機としてどのように機能するか？
• RQ2 学習データの規模は、学習済みトークナイザの unigram エントロピーおよび高次条件エントロピーにどのような影響を与えるか？
• RQ3 トレイン–テストドメインミスマッチはトークナイザの圧縮性能と誘導される構造にどのような影響を及ぼすか？
• RQ4 トークナイゼーションは普遍的圧縮性の有益な変換になり得るか？圧縮を意識したトークナイザ（例：LZ対応BPE）を設計して下流の圧縮を改善できるか？
• RQ5 語彙サイズとトークン頻度の偏りは、チャネル視点での容量利用にどのような影響を与えるか？

主な発見

Compressor	Raw bytes	BPE IDs	Unigram IDs	WordPiece IDs
gzip	3.07	2.44 (-20%)	2.42 (-21%)	2.50 (-19%)
lzma	2.55	2.13 (-16%)	2.11 (-17%)	2.17 (-15%)
zstd	2.60	2.31 (-11%)	2.27 (-13%)	2.36 (-9%)

• GPT系トークナイザは英語・数学・コードで安定した圧縮を示す一方、多言語設定では壊れやすく、非ラテン文字の過度な分割が起きやすい。
• 学習済みトークナイザは一貫した傾向を示す：トレーニングデータを増やすと unigram エントロピーが上昇する一方、上位エントロピー（2-gram〜5-gram）は低下し、短距離の規則性がトークン表現に吸収される。
• トレイン–テストドメインミスマッチ下では、英語データの追加訓練が必ずしもトークナイザの圧縮性能を向上させず、高次エントロピーは依然としてゼロを超え、訓練ドメインの特性に依存していることを示す。
• トークナイゼーションは普遍的圧縮機の性能を改善し得る（LZスタイル）、生のUTF-8よりトークンIDを使用した場合のビット-per-文字はわずかに有利になる；LZ対応のBPEは標準BPEよりも圧縮サイズをさらに削減できる。
• チャネルベースの視点では、容量利用ηが訓練規模とともに上昇・飽和し、高次エントロピーは低下することが示され、トークナイゼーションはトークン数と誘導される構造・ロバスト性のトレードオフを伴うことが明らかになる。