[논문 리뷰] Pre-training Text Representations as Meta Learning

Shangwen Lv, Yuechen Wang외 11명|arXiv (Cornell University)|2020. 04. 12.

Topic Modeling참고 문헌 29인용 수 7

한 줄 요약

이 논문은 언어 모델링과 같은 Proxy 목적함수 대신 최종 태스크 성능을 직접 최적화하는 모델에 종속되지 않는 메타학습(MAML) 방식의 사전 훈련된 텍스트 표현을 제안한다. 사전 훈련 중에 일련의 메타-훈련 스텝을 도입함으로써, 더 나은 초기화를 학습하게 되어 다양한 NLP 태스크에서 BERT를 능가하며, 첫 번째 피넷유닝 에포크부터 개선된 수렴성을 보인다.

ABSTRACT

Pre-training text representations has recently been shown to significantly improve the state-of-the-art in many natural language processing tasks. The central goal of pre-training is to learn text representations that are useful for subsequent tasks. However, existing approaches are optimized by minimizing a proxy objective, such as the negative log likelihood of language modeling. In this work, we introduce a learning algorithm which directly optimizes model's ability to learn text representations for effective learning of downstream tasks. We show that there is an intrinsic connection between multi-task pre-training and model-agnostic meta-learning with a sequence of meta-train steps. The standard multi-task learning objective adopted in BERT is a special case of our learning algorithm where the depth of meta-train is zero. We study the problem in two settings: unsupervised pre-training and supervised pre-training with different pre-training objects to verify the generality of our approach.Experimental results show that our algorithm brings improvements and learns better initializations for a variety of downstream tasks.

연구 동기 및 목표

• 사전 훈련의 Proxy 목적함수(예: 언어 모델링)와 최종 태스크를 위한 유용한 표현을 학습하는 진정한 목표 사이의 괴리 문제를 해결하기 위해.
• 사전 훈련을 메타학습으로 재해석하여 최종 피넷유닝을 위한 모델 초기화를 향상시킬 수 있는지 조사하기 위해.
• 다양한 사전 훈련 목적함수를 사용한 비지도 및 지도 학습 설정에서 제안된 메타학습 기반 사전 훈련의 효과성을 평가하기 위해.
• 경량 모델인 ELMo와 같은 가벼운 모델이라도, 처음부터 더 나은 표현을 학습할 수 있는지 확인하기 위해.
• 메타-학습된 초기화가 피넷유닝 중 더 빠르고 더 나은 수렴을 이끌어내는지 경험적으로 보여주기 위해.

제안 방법

• 모델에 종속되지 않는 메타학습(MAML)으로 사전 훈련을 재구성하여, 소수의 경사 하강 스텝 이후 최종 태스크에 신속히 적응할 수 있도록 최적화한다.
• 사전 훈련 중에 태스크별 경사 하강값으로 모델을 업데이트한 후 메타-업데이트 스텝을 수행하는 일련의 메타-훈련 스텝을 도입한다.
• 메타-훈련 스텝 수가 0일 경우, 표준 다중 태스크 학습 목적함수(BERT에서 사용하는 목적함수)의 특수한 경우로 간주한다.
• 메타학습 알고리즘을 비지도 사전 훈련(예: 마스킹된 언어 모델링)과 지도 사전 훈련(예: 문장 쌍 매칭) 양쪽에 적용한다.
• 두 단계 과정을 사용한다: 최종 태스크 경사 하강값에 대한 메타-훈련 스텝, 그 다음 메타-업데이트를 통해 초기화를 향상시킨다.
• 랜덤 초기화에서부터 훈련하는 BERT 및 ELMo 아키텍처 모두에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 텍스트 표현을 효과적으로 메타학습으로 프레임워크화하여 최종 태스크 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련 중 메타-훈련 스텝 수가 학습된 초기화의 품질에 어떤 영향을 미치는가?
• RQ3 제안된 메타학습 기반 사전 훈련이 다양한 최종 태스크에서 표준 Proxy 목적함수 사전 훈련(예: BERT)을 능가하는가?
• RQ4 경량 모델인 ELMo와 같은 가벼운 모델이라도, 처음부터 더 나은 표현을 학습할 수 있는가?
• RQ5 메타-학습된 모델이 초기 피넷유닝 에포크에서 더 높은 성능을 내는가? 이는 더 우수한 초기화를 의미한다.

주요 결과

• 제안된 메타학습 기반 사전 훈련 방법은 모든 평가된 최종 태스크에서 BERT를 능가한다. 이는 SST-2, MNLI, SNLI, CLOTH, QDC를 포함한다.
• QDC 데이터셋에서 k=10 메타-훈련 스텝을 사용한 모델은 수렴 시 86.05%의 정확도를 기록하여 BERT의 85.44%를 초월한다.
• 최고의 성능은 항상 k=5 또는 k=10 메타-훈련 스텝에서 달성되며, k=20에서는 성능이 떨어지므로 최적의 메타-훈련 깊이가 존재함을 시사한다.
• 첫 번째 피넷유닝 에포크에서 k≥1을 사용한 모델은 SST-2, SST-5, QDC에서 BERT보다 더 높은 정확도를 기록하여 더 나은 초기화를 확인한다.
• 메타학습 방법을 사용해 랜덤 초기화에서 ELMo를 사전 훈련한 모델은 SNLI에서 88.3%의 정확도를 기록하여 공식 ELMo(88.0%)를 능가한다.
• 공식 ELMo를 초기화로 사용하고 메타학습을 적용하면 SNLI에서 88.5%의 정확도를 기록하여, 강력한 시작점조차도 향상시킴을 보여준다.