[論文レビュー] MVP-BERT: Redesigning Vocabularies for Chinese BERT and Multi-Vocab Pretraining

Wei Zhu|arXiv (Cornell University)|Nov 17, 2020

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本稿では、中国語の語彙を中国語の語区切りとサブワードトークン化（seg_tok）を用いて再設計するMVP-BERTを提案する。さらに、階層的、対比較的、目的ベースの3つのマルチ語彙事前学習（MVP）戦略——MVP_hier、MVP_pair、MVP_obj——を導入し、モデルの表現力を向上させる。実験の結果、seg_tokは文レベルのタスクにおける性能と効率性を向上させる。特にMVP_objとMVP_pairは、NERなどの系列ラベル付けタスクにおいて顕著な性能向上を示し、MVP_objは半分以下の学習時間でほぼ競合可能な結果を達成する。

ABSTRACT

Despite the development of pre-trained language models (PLMs) significantly raise the performances of various Chinese natural language processing (NLP) tasks, the vocabulary for these Chinese PLMs remain to be the one provided by Google Chinese Bert \cite{devlin2018bert}, which is based on Chinese characters. Second, the masked language model pre-training is based on a single vocabulary, which limits its downstream task performances. In this work, we first propose a novel method, \emph{seg\_tok}, to form the vocabulary of Chinese BERT, with the help of Chinese word segmentation (CWS) and subword tokenization. Then we propose three versions of multi-vocabulary pretraining (MVP) to improve the models expressiveness. Experiments show that: (a) compared with char based vocabulary, \emph{seg\_tok} does not only improves the performances of Chinese PLMs on sentence level tasks, it can also improve efficiency; (b) MVP improves PLMs' downstream performance, especially it can improve \emph{seg\_tok}'s performances on sequence labeling tasks.

研究の動機と目的

• 中国語BERTにおける文字ベース語彙の限界——意味的学習と効率性の妨げとなる点を是正する。
• より良い下流タスク性能を実現するため、語レベルの意味とサブワードの柔軟性をバランスさせる代替語彙設計を検討する。
• 事前学習中に複数の語彙を統合することでモデルの表現力を向上させるマルチ語彙事前学習（MVP）戦略を開発する。
• seg_tokとMVP戦略の有効性を、特に系列ラベル付けタスクに焦点を当てて、多様な中国語NLPベンチマークで評価する。
• 性能と学習コストのトレードオフを分析することで、単一語彙モデルに対するリソース効率の良い代替手段を提供する。

提案手法

• 中国語の語区切り（CWS）とサブワードトークン化を組み合わせたハイブリッド語彙構築法であるseg_tokを提案。文字ベースのトークン化よりも意味的に明確な語彙を構築する。
• MVP_hierを導入。文字埋め込みを事前に語レベル表現に集約し、その後Transformerエンコーダに供給する階層的マルチ語彙戦略。
• MVP_pairを設計。パラメータを共有する二重エンコーダアーキテクチャで、異なる語彙（例：文字とseg_tok）を同時に使用。マスク言語モデルの損失を係数λで重み付け。
• MVP_objを開発。単一エンコーダ戦略で、粗い粒度の語彙（例：seg_tok）を補助目的として、サブワード表現から完全な語を予測させることで意味的学習を強化。
• 一貫した多文字語の予測を保証するため、事前学習中にホールワードマスキングを採用。言語的単位との整合性を向上させる。
• MVP_pairにおける異なる語彙の損失寄与度を調整する相対的重み係数λを用い、最適なトレードオフに関するアブレーションスタディを可能にする。

実験結果

リサーチクエスチョン

• RQ1 seg_tokに基づく語彙は、文レベルNLPタスクにおいて、標準的な文字ベース語彙を上回る性能を示すか？
• RQ2 マルチ語彙事前学習（MVP）は、単一語彙事前学習と比較して、中国語PLMの表現力と下流タスク性能をどのように向上させるか？
• RQ3 階層的、対比較的、目的ベースのMVP戦略が、モデルの精度と学習効率に与える影響は何か？
• RQ4 相対的重み係数λはMVP_pairの性能にどのように影響するか？また、異なる下流タスクに最適な設定は何か？
• RQ5 MVP_objは、特にリソース制限のある環境で、著しく低い学習コストでMVP_pairに近い性能を達成できるか？

主な発見

• seg_tok語彙は、LCQMCやMSRAなどの文レベルタスクで、文字ベースBERTを最大2.46%上回る性能を示し、短いシーケンスによる高速な推論を実現する。
• MVP_obj（char, seg_tok）はLCQMCで86.10%、NERで73.95%の精度を達成。単一語彙モデルを上回り、完全なアンサンブルモデルに近い性能を示す。
• 両エンコーダ（e, ftc）を備えたMVP_pairはLCQMCで87.96%、MSRAで80.05%の精度を達成。アンサンブル学習が特にNERにおいて性能向上をもたらす。
• 粗い粒度から細かい粒度へのMVP_pair（char → seg_tok）は、細かい粒度から粗い粒度への（seg_tok → char）よりもNERで優れる。これは、粗い粒度の監視が強固な表現学習を支援することを示唆する。
• λ=2.0のMVP_objは、半分以下の学習時間でMVP_pairにほぼ同等の性能を達成。リソース制限環境におけるより効率的な代替手段である。
• NERタスクではλを1.0を超えるとMVP_pairの性能が低下するが、文レベルタスクでは向上する。これは、最適なλ値がタスクに依存することを示す。