[論文レビュー] Byte Latent Transformer: Patches Scale Better Than Tokens

Artidoro Pagnoni, Ram Pasunuru+12 more|arXiv (Cornell University)|Dec 13, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

Byte Latent Transformer (BLT) は、次バイト予測エントロピーに基づいてバイトを可変サイズのパッチに動的にグループ化することで、固定語彙に依存しないバイトレベルの大規模言語モデルアーキテクチャを導入した。このアプローチにより、適応的計算割り当てが可能となり、スケールアップにおいて Llama 3 と同等のパフォーマンスを達成すると同時に、推論に要する FLOPs を最大50%削減した。また、優れた耐性と長尾一般化性能を示し、固定推論予算下でモデルサイズとパッチサイズを同時に拡大可能である。

ABSTRACT

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first FLOP controlled scaling study of byte-level models up to 8B parameters and 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.

研究の動機と目的

• 大規模言語モデルにおける固定語彙トークン化への依存を排除するため、生バイト上でエンドツーエンドに訓練する。
• データの複雑さに基づいて計算を動的に割り当てることで、推論効率と耐性を向上させる。
• 固定推論 FLOP バジェット下で、モデルサイズとパッチサイズを同時に拡大可能な新たなスケーリング軸を実現する。
• 固定語彙を持たない状態で、スケールアップにおいてトークンベースのモデルと同等のパフォーマンスを達成できることを示す。
• バイトレベルの情報への直接アクセスにより、長尾一般化とサブワードレベルの理解を強化する。

提案手法

• モデルは、次バイト予測のエントロピーに基づくセグメンテーションによって、入力バイトをパッチ表現にマップする軽量なローカルエンコーダを使用する。
• 大規模なグローバルラティントランスフォーマーがパッチ表現を処理し、バイトレベルとパッチレベルの情報を統合するためのクロスアテンション機構を備える。
• 軽量なローカルデコーダーが次のパッチのバイトを再構築することで、自己回帰的生成を可能にする。
• パッチサイズは次バイトのエントロピーに基づいて動的に決定され、複雑度の高い領域に多くの計算を割り当てる。
• 事前定義されたトークンが存在しないため、固定語彙を避けるためにエンドツーエンドでパッチ表現を学習する。
• 推論予算を一定に保ちながら、最大8Bパラメータおよび4Tトレーニングバイトまで FLOPs 制御されたスケーリングスタディを可能にする。

Figure 1 : Scaling trends for fixed inference flop models (fully) trained with varying training budgets. In token-based models, a fixed inference budget determines the model size. In contrast, the BLT architecture provides a new scaling axis allowing simultaneous increases in model and patch size wh

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで生バイト上で訓練された大規模言語モデルは、スケールアップにおいて Llama 3 や他のトークン化ベースのモデルと同等のパフォーマンスを達成できるか？
• RQ2 次バイトエントロピーに基づく動的パッチングは、推論効率と計算割り当ての向上をもたらすか？
• RQ3 固定推論 FLOP バジェット下で、トークナイザーなしアーキテクチャがモデルサイズとパッチサイズを同時に拡大可能か？
• RQ4 バイトレベルのモデリングは、入力ノイズに対する耐性と長尾データ一般化性能の向上をもたらすか？
• RQ5 バイトレベルのモデルは、トークン化モデルに比べて、より優れた文字レベルの理解と綴り知識を達成できるか？

主な発見

• FLOPs 制御実験において、BLT は Llama 3 と同等のパフォーマンスを達成しながら、推論 FLOPs を最大50%削減した。
• 入力ノイズに対する耐性が向上し、リソースが限られた機械翻訳および綴り知識タスクでも優れた性能を示した。
• エントロピーに基づく動的パッチングにより、予測可能領域では長いパッチ、複雑な領域では短いパッチが使用され、計算割り当てがより効率的になった。
• BLT は、固定推論予算下でモデルサイズとパッチサイズを同時に拡大可能な新たなスケーリングトレンドを実現し、トークンベースのモデルを凌駆するスケーリングトレンドを示した。
• バイトレベル情報への直接アクセスのおかげで、推論の質的向上と長尾一般化性能の向上が見られた。
• 初期の実験では、事前学習済み Llama 3 にバイト化されたヘッドを適用することで、パフォーマンスを維持しつつバイトレベルのインダクティブバイアスの恩恵を受けることができた。

Figure 2 : B LT comprises three modules, a lightweight Local Encoder that encodes input bytes into patch representations, a computationally expensive Latent Transformer over patch representations, and a lightweight Local Decoder to decode the next patch of bytes. B LT incorporates byte $n$ -gram emb