[論文レビュー] MC-BERT: Efficient Language Pre-Training via a Meta Controller

Zhenhui Xu, Linyuan Gong+6 more|arXiv (Cornell University)|Jun 10, 2020

Topic Modeling参考文献 18被引用数 11

ひとこと要約

MC-BERTは、多肢選択クローズドタスクに「拒否オプション」を追加することで、言語事前学習を簡素化し、タスクの複雑さを軽減しながら意味的豊かさを維持するメタコントローラーフレームワークを提案する。同じ計算リソース制約下で、意味的GLUEタスクにおいてSOTAのパフォーマンスを達成し、BERTやELECTRAよりも意味理解の面で効率的かつ効果的である。

ABSTRACT

Pre-trained contextual representations (e.g., BERT) have become the foundation to achieve state-of-the-art results on many NLP tasks. However, large-scale pre-training is computationally expensive. ELECTRA, an early attempt to accelerate pre-training, trains a discriminative model that predicts whether each input token was replaced by a generator. Our studies reveal that ELECTRA's success is mainly due to its reduced complexity of the pre-training task: the binary classification (replaced token detection) is more efficient to learn than the generation task (masked language modeling). However, such a simplified task is less semantically informative. To achieve better efficiency and effectiveness, we propose a novel meta-learning framework, MC-BERT. The pre-training task is a multi-choice cloze test with a reject option, where a meta controller network provides training input and candidates. Results over GLUE natural language understanding benchmark demonstrate that our proposed method is both efficient and effective: it outperforms baselines on GLUE semantic tasks given the same computational budget.

研究の動機と目的

• 大規模言語モデルの事前学習にかかる高い計算コストを軽減すること。
• 意味表現の質を損なわず、学習の効率を向上させること。
• 簡素化された事前学習タスクが、意味理解タスクにおけるモデル性能を維持または向上させられるかどうかを検証すること。
• メタラーニングが事前学習の複雑さを制御し、サンプル効率を向上させる役割を果たすかどうかを調査すること。

提案手法

• メタコントローラーが、生成器から得た妥当な代替語のうちの一部を置き換えることで、破損した入力文を生成する。
• 各破損トークンに対して、モデルはk択の複数選択肢のセットを構築し、その中に「上記のどれとも異なる」拒否オプションを含める。
• 生成器は、候補の中から正しいトークンを選択するkクラス分類を実行し、語彙サイズの予測から管理可能な分類問題に変換する。
• メタコントローラーは生成器と共同で最適化され、ハイパーパrameter λ を用いて両者の学習をバランスさせる。
• フレームワークはエンドツーエンドで訓練され、生成器はメタコントローラーが提供する候補セットを用いて破損したトークンを修正する学習を行う。
• 効率性と有効性の比較のため、固定された計算リソース制約下でGLUEベンチマーク上で評価される。

実験結果

リサーチクエスチョン

• RQ1 複雑さが軽減された簡素化された事前学習タスクは、意味的パフォーマンスを劣化させることなく学習効率を向上させられるか？
• RQ2 拒否オプションを備えた多肢選択クローズドタスクは、マスクド言語モデルや置換トークン検出と比較して、学習効率と意味的品質の面でどのように異なるか？
• RQ3 ハイパーパrameter k（候補数）と λ（メタコントローラーと生成器の学習の間のトレードオフ）がモデルパフォーマンスに与える影響は何か？
• RQ4 メタコントローラーを用いたアプローチは、ELECTRAのような判別的フレームワークを上回る意味理解タスクの性能を発揮するか？

主な発見

• MC-BERTは、同じ計算リソース制約下で、全8つの意味的GLUEタスクにおいてRoBERTaやELECTRAを上回り、より優れた効率性と有効性を示した。
• CoLAの文法的タスクでは、ELECTRAがMC-BERTを上回った。これは、ELECTRAの置換トークン検出タスクが文法的妥当性により適していることを裏付けた。
• RTEおよびMRPCタスクにおいて、MC-BERTはFLOPのすべての水準でELECTRAやRoBERTaを上回った。学習曲線からは、より速い収束と優れた一般化性能が示された。
• k=10の候補セットを用いたモデルは、k=100のものよりもわずかに優れた性能を示し、より小さな候補セットが効果的で、過学習のリスクも低いことが示された。
• λを大きくすると（生成器の学習を優遇すると）パフォーマンスが悪化した。これは、最適化が不十分なメタコントローラーが全体のパフォーマンスを損なう可能性があることを示唆した。
• MC-BERTはELECTRAと比較して、平均GLUEスコアで競争力のある性能を発揮し、意味的タスクでは顕著な向上を示したが、唯一の文法的タスクではわずかな損失があった。