[논문 리뷰] Efficient pre-training objectives for Transformers

Luca Di Liello, Matteo Gabburo외 1명|arXiv (Cornell University)|2021. 04. 20.

Topic Modeling참고 문헌 18인용 수 4

한 줄 요약

이 논문은 BERT와 유사한 모델의 사전 훈련 비용을 줄이기 위해 마스크된 언어 모델링(MLM)을 대체할 효율적인 사전 훈련 목표를 제안한다. 이는 ELECTRA의 영감을 받은 분류 기반 접근 방식을 사용하며, 더 단순한 생성기와 전체 시퀀스 손실 계산을 도입한다. 주요 기여는 마스크 토큰을 제거하고 생성기를 단순화함으로써 계산 비용과 메모리 사용량을 줄였음에도 불구하고, BERT 및 ELECTRA와 비교해 유사하거나 더 뛰어난 성능을 달성한 것이다. 특히 전이 학습에서 뛰어난 성능을 보였다.

ABSTRACT

The Transformer architecture deeply changed the natural language processing, outperforming all previous state-of-the-art models. However, well-known Transformer models like BERT, RoBERTa, and GPT-2 require a huge compute budget to create a high quality contextualised representation. In this paper, we study several efficient pre-training objectives for Transformers-based models. By testing these objectives on different tasks, we determine which of the ELECTRA model's new features is the most relevant. We confirm that Transformers pre-training is improved when the input does not contain masked tokens and that the usage of the whole output to compute the loss reduces training time. Moreover, inspired by ELECTRA, we study a model composed of two blocks; a discriminator and a simple generator based on a statistical model with no impact on the computational performances. Besides, we prove that eliminating the MASK token and considering the whole output during the loss computation are essential choices to improve performance. Furthermore, we show that it is possible to efficiently train BERT-like models using a discriminative approach as in ELECTRA but without a complex generator, which is expensive. Finally, we show that ELECTRA benefits heavily from a state-of-the-art hyper-parameters search.

연구 동기 및 목표

• 성능을 저하시키지 않은 채 BERT 유사 모델의 높은 사전 훈련 계산 비용을 줄이기 위해.
• 마스크 토큰(MASK)을 제거하면 일반화 능력과 훈련 효율성이 향상되는지 조사하기 위해.
• 계산 오버헤드를 최소화하면서도 모델 품질을 유지할 수 있는 경량이고 효율적인 생성기를 설계하기 위해.
• 전체 시퀀스 손실 계산이 훈련 속도와 모델 성능에 미치는 영향을 평가하기 위해.
• 분류 기반 접근 방식(ELECTRA 유사)이 더 단순한 구성 요소를 사용할 때도 MLM을 능가할 수 있는지 확인하기 위해.

제안 방법

• 표준 MLM 목표를 대체하여 각 토큰이 원본인지 교체되었는지 분류하는 토큰 탐지(TD) 작업을 도입한다.
• 복잡성을 줄이기 위해 무작위 선택 또는 이력 기반 통계적 카운팅 기반의 단순 생성기를 사용한다.
• 전체 디스criminator 출력에 대해 전체 시퀀스 손실을 적용함으로써 훈련 효율성과 수렴 성능를 향상시킨다.
• 기본 모델과 동일한 초모수 및 데이터셋을 사용하여 RoBERTa 기반 모델을 새로운 목표(SLM, RTS, C-RTS)로 훈련시킨다.
• 이력 기반 생성기에서 희귀 토큰을 군집화하여 희소성 문제를 완화하고 안정성을 향상시킨다.
• 저자원 태스크(예: ASNQ-R)에서 미세조정된 모델을 고자원 태스크(예: WikiQA)로 전이하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련에서 MASK 토큰을 제거하면 성능과 일반화 능력이 향상되는가, 특히 전이 학습에서 그러한가?
• RQ2 ELECTRA의 복잡한 생성기를 단순한 통계적 생성기로 대체해도 성능 저하가 발생하지 않는가?
• RQ3 전체 출력 시퀀스에 대해 손실를 계산하면 훈련 시간이 단축되고 효율성이 향상되는가?
• RQ4 제안된 목표(SLM, RTS, C-RTS)가 MLM 및 ELECTRA와 비교해 정확도와 계산 비용 측면에서 어떻게 성능을 내는가?
• RQ5 초모수 튜닝이 분류 기반 사전 훈련 목표의 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• MASK를 사용하지 않는 SLM 목표를 사용한 RoBERTa 모델은 GLUE, SQUAD, WikiQA, ASNQ-R 등 모든 벤치마크에서 RoBERTa-MLM를 일관되게 뛰어넘는 성능을 보였다.
• 모델 이력 기반으로 더 어려운 교체를 적용한 RoBERTa-C-RTS 모델은 MLM 및 RTS와 비교해 전이 학습에서 더 뛰어난 성능을 보였으며, 특히 저자원 태스크인 WikiQA에서 두각을 나타냈다.
• ELECTRA의 SLM-all 변형은 SQUAD에서 ELECTRA와 유사한 성능(79.0 vs. 79.3 MAP)을 기록했고, 전이 학습 후 WikiQA에서 더 뛰어난 성능(87.4 vs. 86.9 MRR)을 보였다.
• 더 단순한 생성기와 전체 출력 손실 덕분에 제안된 방법들은 ELECTRA보다 더 작은 분류 헤드와 더 적은 계산 자원을 요구했다.
• RoBERTa-RTS 및 RoBERTa-C-RTS 모델은 RoBERTa-MLM와 유사한 성능을 달성했지만, 훈련 시간은 단축되고 메모리 사용량도 감소했다.
• ELECTRA의 성능는 초모수 튜닝에 매우 민감하며, SLM-all 설정과 같은 더 단순한 구성 요소를 사용할 경우 그 이점이 크게 감소했다.