[論文レビュー] Charformer: Fast Character Transformers via Gradient-based Subword Tokenization

Yi Tay, Vinh Q. Tran+8 more|arXiv (Cornell University)|Jun 23, 2021

Natural Language Processing Techniques参考文献 62被引用数 83

ひとこと要約

Charformer は、GBST（Gradient-Based Subword Tokenization）モジュールを導入し、バイトから潜在的サブワード表現を学習し、それを Transformer に統合する。バイトレベルおよびサブワードベースのベースラインよりも速度を改善しつつ、競争力のある性能を達成する。

ABSTRACT

State-of-the-art models in natural language processing rely on separate rigid subword tokenization algorithms, which limit their generalization ability and adaptation to new settings. In this paper, we propose a new model inductive bias that learns a subword tokenization end-to-end as part of the model. To this end, we introduce a soft gradient-based subword tokenization module (GBST) that automatically learns latent subword representations from characters in a data-driven fashion. Concretely, GBST enumerates candidate subword blocks and learns to score them in a position-wise fashion using a block scoring network. We additionally introduce Charformer, a deep Transformer model that integrates GBST and operates on the byte level. Via extensive experiments on English GLUE, multilingual, and noisy text datasets, we show that Charformer outperforms a series of competitive byte-level baselines while generally performing on par and sometimes outperforming subword-based models. Additionally, Charformer is fast, improving the speed of both vanilla byte-level and subword-level Transformers by 28%-100% while maintaining competitive quality. We believe this work paves the way for highly performant token-free models that are trained completely end-to-end.

研究の動機と目的

• トークン化を固定の前処理ステップではなく、学習可能なエンドツーエンドのコンポーネントとして動機づける。
• GBST を介して文字レベルモデリングの柔軟性とサブワードの効率性のバランスを取る。
• Charformer をバイトレベル入力で動作させつつ、下流の性能を競争力のある水準に保つ。
• 既存のバイトレベルおよびサブワードモデルよりも速度とメモリ効率の利点を示す。
• 学習された潜在サブワードを視覚化して解釈可能な洞察を提供する。

提案手法

• 最大サイズ M の候補ブロックを列挙し、各位置で各ブロックに確率を割り当てるブロックスコアリングネットワークを学習する勾配ベースのサブワードトークナイゼーション (GBST) を提案する。
• 候補ブロックの加重和の形で潜在サブワード表現を形成し、サブワードセグメンテーションの微分可能でエンドツーエンドの学習を実現する。
• Transformer スタックに入力する前に、固定プーリング操作で潜在サブワード列をダウンサンプリングして長さを削減する。
• ダウンサンプリングされた潜在サブワード上で動作するトランスフォーマーエンコーダ-デコーダを使用し、エンコーダにより多くの容量を割り当てるスケーラブルなバリアント（SBase）を採用する。
• T5 に似たスパンマスキングの事前学習スキームで訓練し、バイトレベルの設定に適応させる。
• 事前GBST畳み込み、ブロックスコアの較正、ダウンサンプリング率など、効率性と性能を評価するためのアーキテクチャの変種を探る。

実験結果

リサーチクエスチョン

• RQ1 GBST は文字列/バイト列から意味のある潜在サブワード表現を直接学習できるか。
• RQ2 Charformer はモノリンガルおよび多言語タスク全般で、サブワードベースおよび他のトークン化不要モデルと比較してどうか。
• RQ3 Charformer の速度、メモリ、およびパラメータ効率は既存のベースラインと比べてどの程度か。
• RQ4 Transformer エンコーダの再スケーリング（SBase）は文字/バイトレベルのモデルに利点をもたらすか。
• RQ5 学習された潜在サブワードは解釈可能でノイズの多いテキストに頑健か。

主な発見

• Charformer は同じパラメータ数で英語の GLUE タスクと長文分類で強力な文字レベルのベースラインを上回る。
• Charformer はいくつかのベンチマークでサブワードベースのモデル（例: BERT, T5）と同等またはそれを上回り、SBase バリアントが最良になることが多い。
• Charformer は Byte-level T5 や T5 ベースの variants と比較して速く、メモリ効率が高く、学習/推論コストが良好にスケールする。
• SBase 設定はエンコーダを深くし、パラメータ量を約40–50%削減しつつ非スケールのベースラインを上回ることがあり、いくつかの設定で2x–10xの速度向上を実現。
• 多言語設定では Charformer SBase はサブワードベースと LongPT 変種と競合し、言語内および翻訳付き訓練で強力な成績を示す。ゼロショットのクロスリンガルトランスファーはトークンフリーモデルには依然として難しい。