[論文レビュー] Should You Mask 15% in Masked Language Modeling?

Alexander Wettig, Tianyu Gao+2 more|arXiv (Cornell University)|Feb 16, 2022

Natural Language Processing Techniques被引用数 7

ひとこと要約

この論文は、マスクド言語モデル（MLM）における一般的に採用されている15%のマスキング率に挑戦し、80%までの高いマスキング率が、GLUEおよびSQuADにおける微調整性能の95%を維持しながら、サンプル効率を向上させられることを示している。著者らは、より大きなモデルがより高いマスキング率から利益を受けることを示し、予測率（予測されるトークン数）と汚染率（マスキングされたトークンの割合）が相反する影響を持つこと、そしてその影響を解体することで、BERTの80-10-10戦略を再評価した。

ABSTRACT

Masked language models (MLMs) conventionally mask 15% of tokens due to the belief that more masking would leave insufficient context to learn good representations; this masking rate has been widely used, regardless of model sizes or masking strategies. In this work, we revisit this important choice of MLM pre-training. We first establish that 15% is not universally optimal, and larger models should adopt a higher masking rate. Specifically, we find that masking 40% outperforms 15% for BERT-large size models on GLUE and SQuAD. Interestingly, an extremely high masking rate of 80% can still preserve 95% fine-tuning performance and most of the accuracy in linguistic probing, challenging the conventional wisdom about the role of the masking rate. We then examine the interplay between masking rates and masking strategies and find that uniform masking requires a higher masking rate compared to sophisticated masking strategies such as span or PMI masking. Finally, we argue that increasing the masking rate has two distinct effects: it leads to more corruption, which makes the prediction task more difficult; it also enables more predictions, which benefits optimization. Using this framework, we revisit BERT's 80-10-10 corruption strategy. Together, our results contribute to a better understanding of MLM pre-training.

研究の動機と目的

• MLMにおける広く採用されている15%のマスキング率が、モデルサイズやマスキング戦略に依存しない最適な選択であるかどうかを調査すること。
• マスキング率がモデルサイズ、マスキング戦略、最適化効率とどのように相互作用するかを理解すること。
• MLM事前学習における汚染率（マスキングされた割合）と予測率（予測されるトークン数）の効果を分離すること。
• 汚染率と予測率の効果を分離する新しいフレームワークを用いて、BERTの80-10-10汚染戦略を再評価すること。
• 特に大規模モデルにおいて、より高いマスキング率がより高いサンプル効率を実現する道筋であるという証拠を提供すること。

提案手法

• 著者らは、効率的なレシピを用いて、BERT-largeモデルを15%、40%、80%のマスキング率で事前学習し、GLUEおよびSQuADで評価した。
• 均一マスキング、スパンマスキング、PMIベースのマスキング戦略を、さまざまなマスキング率で比較し、戦略依存の最適マスキング率を評価した。
• 汚染率（マスキングされたトークンの割合）と予測率（予測されるトークン数）を分離する、新たな分離分析フレームワークを導入した。
• 増加した汚染（文脈の損失）と増加した予測（より多くの学習信号）の影響を独立して特定するためのアブレーションスタディを実施した。
• BERTの80-10-10戦略（80%マスキング、10%元のトークン、10%ランダム）を再評価し、より高い予測率を持つ戦略に比べて性能が劣ることを発見した。
• 一貫した事前学習レシピを用い、パープレキシティ、下流タスクの精度、言語的プローブを含む標準ベンチマークで結果を報告した。

実験結果

リサーチクエスチョン

• RQ1 15%のマスキング率は、マスクド言語モデル事前学習において普遍的に最適なのか、それともモデルサイズに依存するのか？
• RQ2 均一マスキング、スパンマスキング、PMIマスキングといった異なるマスキング戦略は、マスキング率とどのように相互作用するのか？それぞれの最適マスキング率は何か？
• RQ3 MLM事前学習における汚染率（文脈の損失）と予測率（学習信号）の独立した効果は何か？
• RQ4 予測率をより高くした代替戦略と比較した場合、BERTの80-10-10汚染戦略は依然として最適なのか？
• RQ5 極めて高いマスキング率（例：80%）であっても、下流タスクに有効な表現を生成できるのか？

主な発見

• BERT-largeモデルでは、40%のマスキング率がGLUEおよびSQuADで15%を上回り、MNLIでは+0.3、SQuAD F1では+1.8の向上を示した。
• 80%マスキングでも、下流タスクの微調整性能は15%マスキング時と比べて95%を維持しており、パープレキシティが1141.4であるにもかかわらず効果的である。
• 言語的プローブの結果から、80%マスキングモデルですら強力な言語的表現能力を保持していることが示された。
• 均一マスキングは、スパンマスキングやPMIマスキングといった洗練された戦略よりも、より高いマスキング率からより大きな利益を受けることが分かった。これらの洗練された戦略は、低いマスキング率に対してもより耐性がある。
• 分離分析により、より高い予測率は最適化を改善するが、より高い汚染率は性能を低下させることを確認した。これにより、マスキング率の効果が相反することが明らかになった。
• BERTの80-10-10戦略は、より高い予測率を持つ代替戦略に比べて性能が劣り、最適ではないことが示された。