[논문 리뷰] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Colin Raffel, Noam Shazeer외 7명|arXiv (Cornell University)|2019. 10. 23.

Topic Modeling인용 수 8,320

한 줄 요약

논문은 T5를 소개하며, 모든 NLP 태스크를 텍스트-투-텍스트 문제로 변환하는 일관된 텍스트-투-텍스트 변환 프레임워크를 제시하고, 대규모 C4 데이터 코퍼스로 사전 학습하며, 다양한 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a diversity of approaches, methodology, and practice. In this paper, we explore the landscape of transfer learning techniques for NLP by introducing a unified framework that converts all text-based language problems into a text-to-text format. Our systematic study compares pre-training objectives, architectures, unlabeled data sets, transfer approaches, and other factors on dozens of language understanding tasks. By combining the insights from our exploration with scale and our new ``Colossal Clean Crawled Corpus'', we achieve state-of-the-art results on many benchmarks covering summarization, question answering, text classification, and more. To facilitate future work on transfer learning for NLP, we release our data set, pre-trained models, and code.

연구 동기 및 목표

• 모든 태스크를 텍스트-투-텍스트 문제로 형상화하여 NLP에서 전이 학습을 연구하기 위한 일관된 프레임워크를 제시한다.
• 사전 학습 목표, 아키텍처, 데이터 세트 및 대규모 전이 접근법을 조사하고 비교한다.
• 모델 크기와 데이터의 확장이 다양한 NLP 태스크에서 강력한 성능을 낳는다는 것을 보여준다.

제안 방법

• BERT 규모의 기본 모델과 비슷한 인코더-디코더 Transformer 아키텍처를 채택하되 더 큰 용량으로 확장한다.
• 출력 형식을 지정하기 위해 태스크 접두사를 사용하여 모든 태스크를 텍스트-투-텍스트 문제로 형식화한다.
• Colossal Clean Crawled Corpus (C4)에서 잡음 제거 목표와 역제곱근 학습률 스케줄을 사용하여 사전 학습한다.
• 하류 태스크에 대해 통일된 학습 설정으로 미세 조정하고 테스트 시에는 그리디 디코딩을 사용한다.
• 영어 및 비영어 번역 태스크를 지원하기 위해 공유 다국어 어휘를 갖춘 SentencePiece를 사용한다.
• 재현성을 가능하게 하기 위해 코드, 데이터 및 사전 학습 모델을 공개한다.

실험 결과

연구 질문

• RQ1 NLP 태스크를 텍스트-투-텍스트 문제로 재구성하는 것이 전이 학습의 효과에 어떤 영향을 미치는가?
• RQ2 모델 규모와 데이터 품질/크기가 광범위한 NLP 태스크에서 성능에 어떤 영향을 미치는가?
• RQ3 다양한 사전 학습 데이터, 목표, 그리고 아키텍처가 일관된 프레임워크에서 전이 학습과 어떻게 상호작용하는가?

주요 결과

• 텍스트-투-텍스트 프레이밍과 일원화된 모델은 요약, 질의응답, 번역 및 분류 벤치마크에서 강한 성능을 보여준다.
• 수십억 매개변수에 달하는 모델로 규모를 확장하고 큰 정제 코퍼스에서 학습하는 것이 많은 태스크에서 최첨단 결과를 이끈다.
• C4는 상당한 비라벨 데이터 자원을 제공하며, 이 접근법은 다양한 NLP 태스크에 대한 대규모 사전 학습의 가치를 보여준다.
• 일원화된 프레임워크는 태스크 공간의 복잡성에도 불구하고 전이 학습 요소의 체계적인 비교를 가능하게 한다.
• 저자들은 NLP 전이 학습의 향후 연구를 촉진하기 위해 데이터, 모델 및 코드를 공개한다.