[論文レビュー] A Formal Perspective on Byte-Pair Encoding

Vilém Zouhar, Clara Meister+5 more|arXiv (Cornell University)|Jun 29, 2023

Algorithms and Data Compression被引用数 5

ひとこと要約

本稿では、圧縮効用を最大化する組み合わせ最適化問題として、バイトペア符号化（BPE）を形式化し、サブモジュラ関数理論を用いて、グリーディBPEアルゴリズムが1−e−σ(µ⋆)の近似比（実際の値は約0.37）を達成することを証明している。また、O(N log M)の実行時間最適化を施したグリーディBPEの実装と、最適なマージ順序計算のためのメモ化ベースの正確なアルゴリズムを提案している。

ABSTRACT

Byte-Pair Encoding (BPE) is a popular algorithm used for tokenizing data in NLP, despite being devised initially as a compression method. BPE appears to be a greedy algorithm at face value, but the underlying optimization problem that BPE seeks to solve has not yet been laid down. We formalize BPE as a combinatorial optimization problem. Via submodular functions, we prove that the iterative greedy version is a $\frac{1}{σ(\boldsymbolμ^\star)}(1-e^{-{σ(\boldsymbolμ^\star)}})$-approximation of an optimal merge sequence, where ${σ(\boldsymbolμ^\star)}$ is the total backward curvature with respect to the optimal merge sequence $\boldsymbolμ^\star$. Empirically the lower bound of the approximation is $\approx 0.37$. We provide a faster implementation of BPE which improves the runtime complexity from $\mathcal{O}\left(N M ight)$ to $\mathcal{O}\left(N \log M ight)$, where $N$ is the sequence length and $M$ is the merge count. Finally, we optimize the brute-force algorithm for optimal BPE using memoization.

研究の動機と目的

• BPEのトレーニングを、圧縮効用を最大化する組み合わせ最適化問題として形式化すること。
• サブモジュラ関数理論を用いて、グリーディBPEアルゴリズムの理論的性能保証を確立すること。
• 新しいデータ構造を用いて、グリーディBPEの実行時間効率をO(NM)からO(N log M)に向上させること。
• メモ化と安全な順列の刈り込みを用いて、最適なBPEマージ順序の計算のための正確なアルゴリズムを開発すること。
• NLP分野におけるBPEの実証的成功、特にサブワードトークン化における基礎を形式的に提供すること。

提案手法

• マージ可能な組み合わせ的空間上での圧縮効用関数の最大化として、BPEの形式的定式化を提案する。
• 全後退曲率σ(µ⋆)を用いて、グリーディBPEの近似比が1/σ(µ⋆)(1−e−σ(µ⋆))で抑えられることを示す。
• 最大ヒープに基づくデータ構造とアムortアイズド解析を導入し、グリーディBPEの時間計算量をO(NM)からO(N log M)に削減する。
• 正確なBPE計算における重複した探索を回避するために、メモ化と安全な順列の刈り込みを適用する。
• マージの衝突と安全な順列を定義し、2つのマージ順序が同一の括弧構造をもたらす条件を特徴付ける。
• 部分順序⋗を用いて、正確なアルゴリズムにおける非正規化マージ順序を刈り込み、探索空間を削減する。

実験結果

リサーチクエスチョン

• RQ1 BPEが解く背後にある最適化問題は何か？そして、それを形式的に定義できるか？
• RQ2 グリーディBPEアルゴリズムは、最適なマージ順序に対してどの程度の理論的近似保証を達成するか？
• RQ3 従来の実装が持つO(NM)の複雑さを超えて、グリーディBPEの実行時間を改善できるか？
• RQ4 最適なBPEマージ順序のための正確なアルゴリズムをどのように構築・最適化できるか？
• RQ5 正確なBPE計算における効果的な刈り込みを可能にするマージ順序の構造的性質は何か？

主な発見

• グリーディBPEアルゴリズムは、σ(µ⋆) ≈ 2.5に基づき、最適なマージ順序に対する圧縮効用比の下限として約0.37を達成する。
• グリーディBPEの実行時間はO(N log M)に最適化され、従来の実装のO(NM)に比べて顕著な向上を示す。
• メモ化と安全な順列の刈り込みを用いた正確なBPEアルゴリズムは、O(NM min(|Σ|2M, NM))の時間で実行されるブルートフォース列挙よりも高速である。
• 圧縮効用関数が制約付き空間上での特別な種類のサブモジュラ関数であることが示され、理論的保証が可能になった。
• 提案された正確なアルゴリズムは、安全な順列における等価性を活用して、最適性を損なわずに重複するマージ順序を刈り込むことで、探索空間を削減した。
• 実験結果から、合成的なおもちゃ例では最適でないものの、現実の自然言語データではグリーディBPEが最適に近い性能を示すことが示唆された。