[論文レビュー] Training Multilingual Pre-trained Language Model with Byte-level Subwords

Victor Junqiu Wei, Qun Liu+2 more|arXiv (Cornell University)|Jan 23, 2021

Topic Modeling参考文献 28被引用数 10

ひとこと要約

本稿では、サブワードトークン化にバイトレベルのBPE（BBPE）を用いた多言語事前学習言語モデルの訓練を提案する。これにより、UTF-8バイトシーケンスを対象としているため、語彙の効率が向上し、未知語（OOV）トークンが減少する。実験の結果、NEZHAモデルにBBPEを適用した場合、多言語Bertおよび標準的なNEZHAと比較して、複数の多言語NLUタスクで優れた性能を示し、特にリソースが乏しい言語において顕著な向上が見られた。

ABSTRACT

The pre-trained language models have achieved great successes in various natural language understanding (NLU) tasks due to its capacity to capture the deep contextualized information in text by pre-training on large-scale corpora. One of the fundamental components in pre-trained language models is the vocabulary, especially for training multilingual models on many different languages. In the technical report, we present our practices on training multilingual pre-trained language models with BBPE: Byte-Level BPE (i.e., Byte Pair Encoding). In the experiment, we adopted the architecture of NEZHA as the underlying pre-trained language model and the results show that NEZHA trained with byte-level subwords consistently outperforms Google multilingual BERT and vanilla NEZHA by a notable margin in several multilingual NLU tasks. We release the source code of our byte-level vocabulary building tools and the multilingual pre-trained language models.

研究の動機と目的

• 多言語Bertにおける文字レベル語彙の限界、特にレアサブワードの割合が高く、[UNK]トークンが継続的に発生する問題を是正すること。
• 多言語事前学習言語モデルにおけるより強固で効率的な代替手段として、バイトレベルサブワードトークン化を検討すること。
• 言語間のサブワード共有と表現学習の向上を通じて、リソースが乏しい言語におけるモデル性能を改善すること。
• バイトレベルBPE（BBPE）が、256バイトすべてを語彙に含めることで、より頻度の高いサブワードを生成し、[UNK]トークンを完全に排除できることを示すこと。

提案手法

• 本手法は、テキストをUTF-8バイトシーケンスに変換した後、BPEを適用してサブワード語彙を構築するバイトレベルBPE（BBPE）を採用する。
• 語彙はUTF-8エンコード済みシーケンスに基づき構築され、256通りの可能なバイトがすべて含まれるため、[UNK]トークンが発生しない。
• 先行サブワード、末尾サブワード、および完全語サブワードを区別するため、特別トークン（例：末尾サブワードに'##'）を用いた明示的なサブワードタイプモデリングと、トレーニング可能なサブワードタイプ埋め込みを導入する。
• モデルアーキテクチャは、NEZHAをバックボーンとし、14言語を含むXNLI、MLQA、XNLIの多言語NLUベンチマークで微調整する。
• トレーニングプロセスでは、リソースが乏しい言語のデータをアンダーサンプリングで補正し、11言語および14言語の設定で評価することでスケーラビリティを評価する。
• 比較対象となるバリエーションとして、語の境界処理の有無、サブワードタイプ埋め込みの有無、明示的サブワードタイプモデリングの有無を検討する。

実験結果

リサーチクエスチョン

• RQ1 文字レベル語彙と比較して、バイトレベルサブワードトークン化は、レアサブワードの数を減らし、[UNK]トークンを排除できるか？
• RQ2 BBPEベースのトークン化は、多様な言語、特にリソースが乏しい言語において、多言語モデルの性能にどのように影響を与えるか？
• RQ3 明示的なサブワードタイプモデリング（例：'##'プレフィックスやトレーニング可能な埋め込み）は、下流のNLUタスクの精度にどのような影響を与えるか？
• RQ4 BBPEで訓練されたモデルの性能は、mBERTおよびvanilla NEZHAと比較して、多言語ベンチマークでどの程度優れているか？

主な発見

• XNLIベンチマークの8言語において、BBPEで訓練されたNEZHAモデルは、Googleの多言語Bertを平均1.6ポイント上回った（77.1 vs. 75.5）。
• 14言語XNLIタスクでは、vanilla NEZHAと比較して2.0ポイントの向上を達成した（77.1 vs. 77.5）、ドイツ語、タイ語、中国語において顕著な向上が見られた。
• BBPE語彙では、14言語すべてにおいて頻度10,000未満のサブワードが存在せず、一方mBERT語彙には約30％のサブワードが頻度100未満であった。
• 語の境界処理（WBL）を削除すると、平均性能が4.0ポイント低下した（74.21 vs. 77.1）、これは明示的なサブワード構造モデリングが不可欠であることを示している。
• BBPEモデルは、リソースが豊富な言語（例：英語、ロシア語）における重複サブワードを削減する一方で、アラビア語、マレー語、タイ語などのリソースが乏しい言語のトークンカバレッジを向上させた。
• サブワードタイプ埋め込み（STE）を削除したバージョンでも、WBLオンリーモデルを上回る性能を示し、サブワードタイプの明示的モデリングが表現学習を強化していることが示された。