[논문 리뷰] Can You Tell Me How to Get Past Sesame Street? Sentence-Level Pretraining Beyond Language Modeling

Alex Wang, Jan Hůla외 14명|arXiv (Cornell University)|2018. 12. 28.

Topic Modeling참고 문헌 62인용 수 10

한 줄 요약

이 논문은 언어 모델링을 초월한 문장 수준의 사전 훈련 작업에 대한 대규모 실험 연구를 수행하며, GLUE 벤치마크에서 19개의 작업 및 조합을 평가한다. 언어 모델링이 여전히 가장 효과적인 사전 훈련 목표임을 확인했지만, 다중 작업 및 중간 미세조정은 약간의 성능 향상을 가져오지만 일관성 없는 성능, 치명적인 잊음, 그리고 작업 간 전이 성능이 열악한 문제를 겪는다.

ABSTRACT

Natural language understanding has recently seen a surge of progress with the use of sentence encoders like ELMo (Peters et al., 2018a) and BERT (Devlin et al., 2019) which are pretrained on variants of language modeling. We conduct the first large-scale systematic study of candidate pretraining tasks, comparing 19 different tasks both as alternatives and complements to language modeling. Our primary results support the use language modeling, especially when combined with pretraining on additional labeled-data tasks. However, our results are mixed across pretraining tasks and show some concerning trends: In ELMo's pretrain-then-freeze paradigm, random baselines are worryingly strong and results vary strikingly across target tasks. In addition, fine-tuning BERT on an intermediate task often negatively impacts downstream transfer. In a more positive trend, we see modest gains from multitask training, suggesting the development of more sophisticated multitask and transfer learning techniques as an avenue for further research.

연구 동기 및 목표

• 표준 언어 모델링을 초월한 19개의 다른 사전 훈련 작업의 효과를 문장 인코더에 대해 체계적으로 평가하는 것.
• 언어 모델링과 추가 사전 훈련 작업을 조합함으로써 자연어 처리 벤치마크에서의 최종 전이 성능 향상 여부를 조사하는 것.
• BERT와 ELMo에 대한 중간 미세조정의 영향을 평가하는 것, 특히 이러한 단계가 전이 가능성에 향상 또는 악화를 주는지 여부.
• 다양한 사전 훈련 목표에서 다양한 최종 작업이 어떻게 이득을 보는지 패턴을 규명하는 것, 특히 상관관계와 데이터 민감도 측면에서.
• 현재의 다중 작업 및 전이 학습 접근법이 문장 표현 학습에서 가지는 한계를 탐색하는 것.

제안 방법

• 비디어스티임 기반 표준화된 인코더를 19개의 별도의 사전 훈련 작업(언어 모델링과 자연어 추론, 기계 번역 등 비-LM 작업 포함)에 대해 훈련시킴.
• 모든 사전 훈련 작업에 동일한 모델 아키텍처와 훈련 절차를 사용하여 공정한 비교를 확보하고 목적 함수의 영향만 분리함.
• 다운스트림 GLUE 작업에 전이하기 전에 ELMo와 BERT를 17개의 중간 작업에 대해 미세조정하고, 중간 훈련의 최종 성능에 미치는 영향을 평가함.
• GLUE 벤치마크의 9개 작업에서 총 477개 모델을 기반으로 53개의 별도 문장 인코더를 훈련 및 평가하여 통계적 탄력성 확보.
• 목표 작업 간 성능 상관관계 분석 및 다양한 사전 훈련 및 목표 작업 데이터 양에서의 학습 곡선 측정.
• 진단 세트를 사용하여 모델의 행동을 특정 언어 현상(예: 어휘-의미 지식, 논리적 추론 등)에서 탐색함.

실험 결과

연구 질문

• RQ1 GLUE 벤치마크에서 언어 모델링 이외의 사전 훈련 작업에 대해 사전 훈련을 수행할 경우, 다운스트림 전이 성능에서 언어 모델링과 비교해 어떻게 다를까?
• RQ2 언어 모델링과 추가 사전 훈련 작업을 조합하면 다양한 다운스트림 NLP 작업에서 일관된 성능 향상이 이루어지는가?
• RQ3 BERT나 ELMo를 보조 작업에서 중간 미세조정하면 다운스트림 GLUE 작업의 성능이 향상되거나 악화되는가?
• RQ4 다양한 다운스트림 작업이 다양한 사전 훈련 목표에서 얼마나 이득을 보는지, 그리고 성능 향상의 상관관계는 어느 정도인가?
• RQ5 사전 훈련 및 미세조정에서 데이터 볼륨의 영향은 무엇이며, 중간 작업에 대해 미세조정된 모델에서 치명적인 잊음의 징후를 관찰할 수 있는가?

주요 결과

• 언어 모델링은 여전히 GLUE 벤치마크 전반에서 가장 효과적인 단일 사전 훈련 목표이며, 모든 다른 개별 작업을 압도함.
• 다중 작업 사전 훈련은 단일 작업 사전 훈련보다는 약간의 성능 향상을 가져오지만, 개별 작업의 강점을 일관되게 조합하지 못함.
• MNLI나 QQP와 같은 작업에서 BERT의 중간 미세조정은 종종 성능 저하를 초래함으로써 치명적인 잊음 또는 부정적 전이의 가능성을 시사함.
• 사전 훈련에서의 성능 향상은 작업에 따라 크게 달라지며, 서로 다른 GLUE 작업 간 성능 향상의 상관관계가 낮거나 심지어 음수일 수 있음.
• 학습 곡선 분석 결과, 대부분의 작업에서 사전 훈련 데이터 볼륨을 늘일수록 성능 향상이 이루어지지만, ELMo나 BERT와 조합할 경우 이러한 관계는 약화됨.
• 제한된 데이터로 중간 작업(예: 제한된 데이터로 MNLI를 훈련)을 수행한 일부 모델은 전체 데이터셋으로 훈련한 모델보다 성능이 뛰어나, 과적합 또는 데이터 민감도 문제의 가능성을 시사함.