[논문 리뷰] Should You Mask 15% in Masked Language Modeling?

Alexander Wettig, Tianyu Gao외 2명|arXiv (Cornell University)|2022. 02. 16.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 마스킹 언어 모델링(MLM)에서 관행적으로 사용되는 15% 마스킹 비율에 도전하며, 최대 80%에 이르는 높은 마스킹 비율이 GLUE 및 SQuAD에서 피나이팅 성능의 95%를 유지하면서도 샘플 효율성을 향상시킬 수 있음을 입증한다. 저자들은 더 큰 모델일수록 높은 마스킹 비율에서 유리함을 보임을 보여주며, 예측 비율(예측하는 토큰 수)과 손상 비율(마스킹된 토큰 비율)이 상반된 영향을 미친다는 점을 밝혀내어 이를 분리함으로써 BERT의 80-10-10 전략을 재평가한다.

ABSTRACT

Masked language models (MLMs) conventionally mask 15% of tokens due to the belief that more masking would leave insufficient context to learn good representations; this masking rate has been widely used, regardless of model sizes or masking strategies. In this work, we revisit this important choice of MLM pre-training. We first establish that 15% is not universally optimal, and larger models should adopt a higher masking rate. Specifically, we find that masking 40% outperforms 15% for BERT-large size models on GLUE and SQuAD. Interestingly, an extremely high masking rate of 80% can still preserve 95% fine-tuning performance and most of the accuracy in linguistic probing, challenging the conventional wisdom about the role of the masking rate. We then examine the interplay between masking rates and masking strategies and find that uniform masking requires a higher masking rate compared to sophisticated masking strategies such as span or PMI masking. Finally, we argue that increasing the masking rate has two distinct effects: it leads to more corruption, which makes the prediction task more difficult; it also enables more predictions, which benefits optimization. Using this framework, we revisit BERT's 80-10-10 corruption strategy. Together, our results contribute to a better understanding of MLM pre-training.

연구 동기 및 목표

• MLM에서 널리 채택된 15% 마스킹 비율이 다양한 모델 크기와 마스킹 전략에 걸쳐 최적인지 조사하기.
• 마스킹 비율이 모델 크기, 마스킹 전략, 최적화 효율성과 어떻게 상호작용하는지 이해하기.
• MLM 사전학습에서 손상 비율(얼마나 많은 토큰이 마스킹되었는지)과 예측 비율(예측하는 토큰 수)의 영향을 분리하여 분석하기.
• 손상과 예측 효과를 분리하는 새로운 프레임워크를 통해 BERT의 80-10-10 손상 전략을 재평가하기.
• 특히 대규모 모델을 대상으로 더 높은 마스킹 비율이 더 샘플 효율적인 사전학습으로 이어질 수 있음을 입증하기.

제안 방법

• 저자들은 효율적인 레시피를 사용하여 BERT-large 모델을 15%, 40%, 80% 마스킹 비율로 사전학습하고, GLUE 및 SQuAD에서 평가한다.
• 균일 마스킹, 스팸 마스킹, PMI 기반 마스킹 전략을 다양한 마스킹 비율에서 비교하여 전략에 따라 최적의 비율을 평가한다.
• 손상 비율(마스킹된 토큰 비율)과 예측 비율(예측하는 토큰 수)을 분리하는 분리 분석 프레임워크를 도입하여 독립적인 아블레이션을 가능하게 한다.
• 증가된 손상(낮아진 컨텍스트)과 증가된 예측(더 많은 학습 신호)의 영향을 고립하여 아블레이션 연구를 수행한다.
• BERT의 80-10-10 전략(80% 마스킹, 10% 원본, 10% 무작위)을 재평가하며, 더 높은 예측 비율을 가진 전략에 비해 성능이 열 劣하다는 것을 발견한다.
• 일관된 사전학습 레시피를 사용하고, 퍼플렉서티, 다운스트림 정확도, 언어적 탐사 등 표준 벤치마크에서 결과를 보고한다.

실험 결과

연구 질문

• RQ1 15% 마스킹 비율은 마스킹 언어 모델 사전학습에서 보편적으로 최적인가, 아니면 모델 크기에 따라 달라지는가?
• RQ2 균일 마스킹, 스팸 마스킹, PMI 마스킹 등의 다양한 마스킹 전략이 마스킹 비율과 어떻게 상호작용하며, 각각의 최적 비율은 무엇인가?
• RQ3 MLM 사전학습에서 손상 비율(컨텍스트 손실)과 예측 비율(학습 신호)의 독립적인 영향은 무엇인가?
• RQ4 더 높은 예측 비율을 가진 전략과 비교했을 때 BERT의 80-10-10 손상 전략은 여전히 최적인가?
• RQ5 극도로 높은 마스킹 비율(예: 80%)이 여전히 다운스트림 작업에 대해 효과적인 표현을 제공할 수 있는가?

주요 결과

• BERT-large 모델의 경우, 40% 마스킹 비율이 GLUE 및 SQuAD에서 15%보다 우수하며, MNLI에서는 +0.3, SQuAD F1에서는 +1.8 향상된다.
• 80% 마스킹 비율일 경우, 퍼플렉서티가 1141.4임에도 불구하고 다운스트림 작업에서 15% 마스킹에 비해 95%의 피나이팅 성능을 유지한다.
• 언어적 탐사 결과, 80% 마스킹된 모델조차도 강력한 언어 표현 능력을 유지하고 있음을 보여준다.
• 균일 마스킹은 스팸 마스킹이나 PMI 마스킹과 같은 고도로 발전된 전략보다 더 높은 마스킹 비율에서 더 큰 이점을 얻는다. 이는 고급 전략이 낮은 마스킹 비율에 더 강건하기 때문이다.
• 분리 분석 결과, 더 높은 예측 비율은 최적화를 향상시키지만, 더 높은 손상 비율은 성능을 떨어뜨림을 확인하여 마스킹 비율이 상반된 영향을 미친다는 점을 입증한다.
• BERT의 80-10-10 전략은 더 높은 예측 비율을 가진 전략에 비해 성능이 열 劣하므로, 최적의 전략이 아님을 시사한다.