[論文レビュー] Bridging the Gap for Tokenizer-Free Language Models

Dokook Choe, Rami Al‐Rfou+3 more|arXiv (Cornell University)|Aug 27, 2019

Topic Modeling参考文献 25被引用数 14

ひとこと要約

この論文は、トークナイゼーションを一切行わないで、rawなバイトに直接学習させたディープなトランスフォーマー言語モデルが、One Billion Word (lm1b)ベンチマークで最先端の性能を達成できることを示している。語彙ベースのモデルと同等の性能を発揮する。40層の自己注意機構と836Mパラメータを備えたこのモデルは、深い文脈的表現を学習することで、十分な容量があればトークナイゼーションなしのモデルも、トークナイゼーション付きモデルと同等に競争可能であることを実証している。

ABSTRACT

Purely character-based language models (LMs) have been lagging in quality on large scale datasets, and current state-of-the-art LMs rely on word tokenization. It has been assumed that injecting the prior knowledge of a tokenizer into the model is essential to achieving competitive results. In this paper, we show that contrary to this conventional wisdom, tokenizer-free LMs with sufficient capacity can achieve competitive performance on a large scale dataset. We train a vanilla transformer network with 40 self-attention layers on the One Billion Word (lm1b) benchmark and achieve a new state of the art for tokenizer-free LMs, pushing these models to be on par with their word-based counterparts.

研究の動機と目的

• 語彙トークナイゼーションが高性能な言語モデルにとって不可欠であるという仮定に挑戦すること。
• 完全に文字／バイトレベルのトランスフォーマーが、大規模な言語モデリングにおいて競争力のある性能を発揮できるかどうかを評価すること。
• トークナイゼーションなしのモデルにおける中間表現が、意味的な語彙レベルの意味を捉えられるかどうかを分析すること。
• 完全なアーキテクチャ的容量を活用したエンドツーエンドで前処理なしの言語モデリングの可能性を検討すること。

提案手法

• モデルは、因果的自己注意機構を用いた標準的なトランスフォーマー・デコーダーを採用し、シーケンス内の次のバイトを予測する。rawなUTF-8バイトを直接処理する。
• 256次元のバイト埋め込み層と、40層、1024次元の隠れ層、8192次元のフィードフォワード層、16個の注意ヘッドを持つ深層アーキテクチャを採用している。
• 学習は、ランダムに選択された512バイトのシーケンスを用い、注意層およびフィードフォワード層にドロップアウトを適用。Adam最適化法を用い、学習率を段階的に低下させる。
• 語の表現を抽出する際には、単語の後に半角スペースを追加し、そのスペーストークンにおける活性化値を語レベル表現の代理として用いる。
• 語の類似度評価は、抽出された表現間のコサイン類似度と、人間がアノテートした語のペairを用いて行う。
• 開発段階では、評価を高速化するためにウィンドウド予測戦略を採用しているが、最終的なテストでは完全な自己回帰的スコアリングを用いている。

実験結果

リサーチクエスチョン

• RQ1 十分な容量を持つトークナイゼーションなしの言語モデルが、大規模な言語モデリングベンチマークで競争力のある性能を達成できるか？
• RQ2 明示的な語境界の監視がなくとも、バイトレベルのモデルにおける深層トランスフォーマー層が意味的な語レベルの表現を学習できるか？
• RQ3 バイトレベルのトランスフォーマーにおける異なる深さの層で、語の表現の質はどのように変化するか？
• RQ4 アーキテクチャの深さと容量が、純粋なバイトレベル言語モデルの性能に与える影響は何か？
• RQ5 バイトレベルモデルの中間活性化は、語の類似度のような下流の意味的タスクに効果的に利用できるか？

主な発見

• ストライド=256の場合、テストのバイトあたりビット数は0.87413、ストライド=1の場合0.874055であり、ウィンドウド評価戦略による性能劣化がほとんどないことが示された。
• このモデルは、One Billion Wordベンチマークにおいて、トークナイゼーションなしの言語モデルとして新たな最先端を記録し、以前の文字レベルモデルを上回った。
• WS353simではSpearmanのrhoが0.43、RareWordsでは0.46に達し、このタスクに明示的な学習がなくても中間表現が意味的類似度を捉えていることが示された。
• 語の類似度タスクにおける性能は、層1〜10で向上し、層11〜40では plateau またはわずかに低下する傾向を示しており、初期層が一般化された言語的特徴を学習している可能性がある。
• レアワードの表現能力が深さに伴い向上する傾向を示しており、深い層が低頻度語や複雑な屈曲形態的パターンを特徴づける可能性がある。
• 語の表現に特化した学習を受けていないにもかかわらず、中間活性化が人間がアノテートした語の類似度と有意義な相関関係を示しており、意味的学習が出現していることが実証された。