[論文レビュー] Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words

Zhangyin Feng, Duyu Tang+7 more|arXiv (Cornell University)|Feb 24, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、語彙をサブワード単位（ワードピece）ではなく、完全な語の単語で構成される語彙上で学習された、BERTと同等のモデルであるWordBERTを提案する。サンプリングに基づく学習戦略を用いることで、大規模語彙の処理を可能にした。Clozeテストおよび機械読解のタスクで顕著な向上を達成し、POSタギング、チャンキング、NERにおいても一貫してBERTを上回る性能を示した。中国語自然言語処理タスクにおいても顕著な向上を示し、語彙サイズが大きいにもかかわらず、BERTと同等の推論速度を維持した。

ABSTRACT

The standard BERT adopts subword-based tokenization, which may break a word into two or more wordpieces (e.g., converting "lossless" to "loss" and "less"). This will bring inconvenience in following situations: (1) what is the best way to obtain the contextual vector of a word that is divided into multiple wordpieces? (2) how to predict a word via cloze test without knowing the number of wordpieces in advance? In this work, we explore the possibility of developing BERT-style pretrained model over a vocabulary of words instead of wordpieces. We call such word-level BERT model as WordBERT. We train models with different vocabulary sizes, initialization configurations and languages. Results show that, compared to standard wordpiece-based BERT, WordBERT makes significant improvements on cloze test and machine reading comprehension. On many other natural language understanding tasks, including POS tagging, chunking and NER, WordBERT consistently performs better than BERT. Model analysis indicates that the major advantage of WordBERT over BERT lies in the understanding for low-frequency words and rare words. Furthermore, since the pipeline is language-independent, we train WordBERT for Chinese language and obtain significant gains on five natural language understanding datasets. Lastly, the analyse on inference speed illustrates WordBERT has comparable time cost to BERT in natural language understanding tasks.

研究の動機と目的

• BERTにおけるサブワードトークン化の限界、たとえば語の断片的表現やClozeタスクにおける複合語トークンの予測困難を是正すること。
• 大規模な完全語語彙上で直接学習するBERT風モデルが、文脈表現学習をどのように改善するかを検討すること。
• 英語および中国語を含む複数の言語で、単語レベルの事前学習の性能を複数の自然言語処理タスクで評価すること。
• BERTと比較して、WordBERTが低頻度語や希少語の表現をどのようによりよく捉えられるかを分析すること。
• 大規模語彙（最大100万語）を用いた単語レベル事前学習が、スケーラブルかつ効率的であることを実証すること。

提案手法

• サブワード単位の代わりに完全語語彙を用いたBERT風モデルを訓練し、ワードピeceトークン化を排除する。
• 事前学習中の計算コストを低減するために、バッチごとに単語埋め込みの一部のみを更新するサンプリングに基づく学習戦略を採用する。
• 標準的なTransformerアーキテクチャを用い、マスク言語モデルと次文予測の目的関数を完全語入力に適応させる。
• 語彙サイズ（50万、100万）や初期化戦略（事前学習済みGloVe埋め込みを含む）を変更して実験する。
• 中国語語彙を大規模に用いた中国語専用のWordBERTモデルを訓練し、多言語的有効性を評価する。
• 語彙サイズが大きくても、性能へのオーバーヘッドを最小限に抑えるために、語彙検索による埋め込み推論を採用する。

実験結果

リサーチクエスチョン

• RQ1 完全語語彙上で学習されたBERT風モデルは、下流の自然言語処理タスクで、標準的なサブワードベースのBERTを上回ることができるか？
• RQ2 単語レベルの事前学習は、Cloze形式のタスクにおいて複合語や希少語の予測能力を向上させるか？
• RQ3 WordBERTは、特にゼロショットプローブの状況下で、低頻度語や希少語に対してBERTと比較してどのように優れた表現を捉えられるか？
• RQ4 英語や中国語を含むさまざまな言語において、単語レベル事前学習アプローチはスケーラブルで効率的か？
• RQ5 WordBERTの大きな語彙サイズにより推論時間が延長されるか、それともBERTと同等か？

主な発見

• WordBERTはClozeテストおよび機械読解タスクで顕著な向上を示し、BERTを大きく上回った。
• POSタギング、チャンキング、NERにおいて、複数のデータセットでWordBERTはBERTよりも一貫して高いF1スコアを達成した。
• プローブ解析の結果、WordBERTは特に希少語や低頻度語に対して、多様で意味のある予測を生成する傾向があり、BERTは一般的な語やサブワードを生成する傾向があることが示された。
• 中国語WordBERTモデルはCLUEベンチマークで顕著な向上を示し、低リソースかつ構造が複雑な言語においても本手法の有効性を裏付けた。
• 最大7億6800万個の単語埋め込みパラメータを有しながらも、効率的な辞書ベースの検索と短い入力シーケンスのおかげで、WordBERTは推論速度をBERTと同等に維持した。
• サンプリングに基づく学習戦略により、事前学習中の計算コストが効果的に低減され、大規模な単語語彙上で学習するにあたり、著しいオーバーヘッドが生じないことが実証された。