[논문 리뷰] MC-BERT: Efficient Language Pre-Training via a Meta Controller

Zhenhui Xu, Linyuan Gong외 6명|arXiv (Cornell University)|2020. 06. 10.

Topic Modeling참고 문헌 18인용 수 11

한 줄 요약

MC-BERT는 다중 선택 닫힘 작업에 거절 옵션을 추가한 메타 컨트롤러 프레임워크를 제안하여 언어 사전 훈련을 단순화함으로써 작업 복잡성을 줄이고 의미적 풍부성을 유지한다. 동일한 계산 예산 하에서 의미적 GLUE 작업에서 SOTA 성능을 달성하며, 의미 이해에서 BERT와 ELECTRA보다 효율성과 효과성 면에서 뛰어나다.

ABSTRACT

Pre-trained contextual representations (e.g., BERT) have become the foundation to achieve state-of-the-art results on many NLP tasks. However, large-scale pre-training is computationally expensive. ELECTRA, an early attempt to accelerate pre-training, trains a discriminative model that predicts whether each input token was replaced by a generator. Our studies reveal that ELECTRA's success is mainly due to its reduced complexity of the pre-training task: the binary classification (replaced token detection) is more efficient to learn than the generation task (masked language modeling). However, such a simplified task is less semantically informative. To achieve better efficiency and effectiveness, we propose a novel meta-learning framework, MC-BERT. The pre-training task is a multi-choice cloze test with a reject option, where a meta controller network provides training input and candidates. Results over GLUE natural language understanding benchmark demonstrate that our proposed method is both efficient and effective: it outperforms baselines on GLUE semantic tasks given the same computational budget.

연구 동기 및 목표

• 대규모 언어 모델 사전 훈련의 높은 계산 비용을 해결하기 위해.
• 의미 표현 품질을 훼손하지 않으면서 훈련 효율성을 향상시키기 위해.
• 간소화된 사전 훈련 작업이 의미 이해 작업에서 성능을 유지하거나 향상시킬 수 있는지 조사하기 위해.
• 메타 학습이 사전 훈련 복잡성 제어 및 샘플 효율성 향상에 미치는 역할을 탐색하기 위해.

제안 방법

• 메타 컨트롤러는 생성기에서 제공하는 타당한 대체어를 사용해 일부 토큰을 교체함으로써 손상된 입력 문장을 생성한다.
• 각 손상된 토큰에 대해 모델은 '위에 나온 바 없음' 거절 옵션을 포함한 k개의 다중 선택 선택지 세트를 구성한다.
• 생성기는 후보 중에서 정확한 토큰을 선택하기 위해 k개 클래스 분류를 수행함으로써, 어휘 크기 예측에서 다룰 수 있는 분류 문제로 작업을 단순화한다.
• 메타 컨트롤러는 생성기와 함께 공동 최적화되며, 하이퍼파라미터 λ를 통해 두 구성 요소의 학습을 균형 잡는다.
• 프레임워크는 엔드 투 엔드로 훈련되며, 생성기는 메타 컨트롤러가 제공한 후보 세트를 사용해 손상된 토큰을 보정하는 데 학습한다.
• 효율성과 효과성을 비교하기 위해 고정된 계산 예산을 사용해 GLUE 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 복잡성이 감소한 간소화된 사전 훈련 작업은 의미 성능을 떨어뜨리지 않고 훈련 효율성을 향상시킬 수 있는가?
• RQ2 거절 옵션이 있는 다중 선택 닫힘 작업은 마스킹 언어 모델링과 대체 토큰 탐지와 비교해 학습 효율성과 의미 품질 면에서 어떻게 다른가?
• RQ3 하이퍼파라미터 k(후보 수)와 λ(메타 컨트롤러와 생성기 훈련 간의 트레이드오프)가 모델 성능에 어떤 영향을 미치는가?
• RQ4 메타 컨트롤러 기반 접근 방식은 의미 이해 작업에서 ELECTRA와 같은 분류 기반 프레임워크를 능가하는가?

주요 결과

• MC-BERT는 동일한 계산 예산 하에서 모든 여덟 개인 의미적 GLUE 작업에서 RoBERTa와 ELECTRA를 능가하며, 효율성과 효과성 면에서 뛰어나다.
• CoLA 문법 작업에서는 ELECTRA가 MC-BERT보다 더 나은 성능을 보였으며, ELECTRA의 대체 토큰 탐지 작업이 문법 수용 가능성과 더 잘 부합함을 확인한다.
• RTE 및 MRPC 작업에서 MC-BERT는 모든 FLOP 수준에서 ELECTRA와 RoBERTa를 앞서며, 학습 곡선을 통해 빠른 수렴과 더 나은 일반화 성능을 보였다.
• k=10개 후보 모델은 k=100개 후보 모델보다 略적으로 더 높은 성능을 보였으며, 이는 더 작은 후보 세트가 더 효과적이고 과적합에 덜 민감함을 시사한다.
• 더 큰 λ(생성기 훈련을 더 강조)은 성능을 떨어뜨리며, 최적화되지 않은 메타 컨트롤러가 전체 성능에 악영향을 준다는 것을 시사한다.
• MC-BERT는 ELECTRA와 비교해 경쟁적인 평균 GLUE 점수를 기록했으며, 의미적 작업에서는 뚜렷한 성과 향상과 단일 문법 작업에서의 약간의 손실을 보였다.