[論文レビュー] Linear-Time WordPiece Tokenization.

Xinying Song, Alex Salcianu+3 more|arXiv (Cornell University)|Dec 31, 2020

Natural Language Processing Techniques参考文献 14被引用数 5

ひとこと要約

本稿では、Aho-Corasickアルゴリズムにインspiredされた追加のリンクを備えた最適化されたTrie構造を用いた線形時間のWordPieceトークン化アルゴリズムであるLinMaxMatchを紹介する。HuggingFaceやTensorFlow Textシステムと比較して平均3倍速く、長尾入力では4.5倍の高速化を達成し、MaxMatch問題に対して実用的で理論的に最適な性能を提供する。

ABSTRACT

WordPiece tokenization is a subword-based tokenization schema adopted by BERT: it segments the input text via a longest-match-first tokenization strategy, known as Maximum Matching or MaxMatch. To the best of our knowledge, all published MaxMatch algorithms are quadratic (or higher). In this paper, we propose LinMaxMatch, a novel linear-time algorithm for MaxMatch and WordPiece tokenization. Inspired by the Aho-Corasick algorithm, we introduce additional linkages on top of the trie built from the vocabulary, allowing smart transitions when the trie matching cannot continue. Experimental results show that our algorithm is 3x faster on average than two production systems by HuggingFace and TensorFlow Text. Regarding long-tail inputs, our algorithm is 4.5x faster at the 95 percentile. This work has immediate practical value (reducing inference latency, saving compute resources, etc.) and is of theoretical interest by providing an optimal complexity solution to the decades-old MaxMatch problem.

研究の動機と目的

• BERTや関連モデルで広く使われているにもかかわらず、長年の効率性の欠如が指摘されている従来のMaxMatchアルゴリズム（O(n²)以上）の問題を解決すること。
• サブワードトークン化における古くからの課題であるMaxMatch問題に対して、証明可能に最適な線形時間解を提供すること。
• より高速でスケーラブルなトークン化を可能にすることで、実世界のNLPシステムにおける推論遅延と計算コストを低減すること。
• MaxMatch問題に対する最適な時間計算量を達成することで理論的洞察を提供し、NLP工学分野における長年の未解決問題を解決すること。

提案手法

• WordPieceトークン化で使用されるすべての可能なサブワードユニットを表現するため、語彙からTrieを構築する。
• Aho-Corasickアルゴリズムにインspiredされた追加のフェイルジャケット（失敗リンク）をTrieに追加し、現在のパスマッチが失敗した場合の効率的遷移を可能にする。
• これらのリンクを活用するスマートな状態遷移メカニズムを用いて、バックトラッキングを回避し、線形時間性能を維持する。
• 拡張されたTrieを、各ステップで最大のサブワードセグメンテーションを保証する「最長一致優先（MaxMatch）」トークン化パイプラインに統合する。
• 入力トークンを1パスで処理するようにアルゴリズムを設計し、入力長をnとしてO(n)の時間計算量を維持する。
• 知的なリンク伝播によりTrieの冗長走査を最小限に抑えることで、平均ケースと長尾入力の両方のパフォーマンスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 MaxMatchベースのWordPieceトークン化に対して、従来のO(n²)以上のアプローチを打ち破る線形時間アルゴリズムを設計可能か？
• RQ2 HuggingFace や TensorFlow Text などの生産システムと比較して、提案されたLinMaxMatchアルゴリズムの速度とスケーラビリティはどの程度か？
• RQ3 希少または複雑なシーケンスのような長尾入力において、アルゴリズムはどの程度パフォーマンスを向上させるか？
• RQ4 Aho-Corasick風の失敗リンクを備えたTrieベースの構造を用いて、MaxMatch問題の最適時間計算量を達成することは可能か？
• RQ5 このアルゴリズムは、実世界のNLPデプロイメントにおける推論遅延と計算リソース使用量にどのような実用的影響を与えるか？

主な発見

• LinMaxMatchは、MaxMatchトークン化において線形時間計算量O(n)を達成し、数十年にわたるこの問題に対する最初の最適解を提供する。
• 多様な入力分布をカバーする平均的なパフォーマンスにおいて、LinMaxMatchはHuggingFaceやTensorFlow Textの生産用トークナイザーと比較して3倍速い。
• 長尾入力の95パーセンタイルにおいて、LinMaxMatchはベースラインシステムと比較して4.5倍速く、複雑なシーケンスにおける優れたスケーラビリティを示している。
• 短い入力から長い入力まで、両方の状況で高い効率性を維持し、実世界の推論ワークロードにおいて一貫したパフォーマンス向上を実現している。
• Trieに失敗リンクを用いることで、バックトラッキングを伴わないスマートな遷移が可能となり、これが線形時間性能を達成する鍵である。
• 提案手法は理論的にも最適であり、実用的にも導入可能であり、低遅延NLPシステムに即時の利点をもたらす。