[논문 리뷰] ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning

Vamsi Aribandi, Yi Tay외 12명|arXiv (Cornell University)|2021. 11. 22.

Topic Modeling참고 문헌 126인용 수 8

한 줄 요약

이 논문은 초거대한 107개의 다양한 NLP 작업(ExMix)과 C4에서의 자기지도 스パン 노이즈 제거를 결합한 사전 훈련 모델인 ExT5를 소개한다. 이 모델은 SuperGLUE, GEM, Rainbow, Closed-Book QA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. ExT5는 극한의 다중 작업 스케일링이 제로샷 및 미세조정 전이 학습을 크게 향상시키고, 샘플 복잡도를 감소시키며, 수작업으로 조합된 작업 조합과 강력한 T5 기반 모델을 능가함을 보여준다.

ABSTRACT

Despite the recent success of multi-task learning and transfer learning for natural language processing (NLP), few works have systematically studied the effect of scaling up the number of tasks during pre-training. Towards this goal, this paper introduces ExMix (Extreme Mixture): a massive collection of 107 supervised NLP tasks across diverse domains and task-families. Using ExMix, we study the effect of multi-task pre-training at the largest scale to date, and analyze co-training transfer amongst common families of tasks. Through this analysis, we show that manually curating an ideal set of tasks for multi-task pre-training is not straightforward, and that multi-task scaling can vastly improve models on its own. Finally, we propose ExT5: a model pre-trained using a multi-task objective of self-supervised span denoising and supervised ExMix. Via extensive experiments, we show that ExT5 outperforms strong T5 baselines on SuperGLUE, GEM, Rainbow, Closed-Book QA tasks, and several tasks outside of ExMix. ExT5 also significantly improves sample efficiency while pre-training.

연구 동기 및 목표

• 다중 작업 사전 훈련에서 작업 수를 늘릴 경우 전이 학습 성능에 어떤 영향을 미치는지 조사하기.
• 매우 넓고 다양한 작업 조합이 수작업으로 구성된 최적의 작업 조합보다 다중 작업 사전 훈련에서 효과적으로 전이 학습을 수행할 수 있는지 평가하기.
• 다양한 NLP 작업을 동시에 훈련할 수 있는 확장 가능한 통합 프레임워크를 개발하기.
• 극한의 다중 작업 스케일링이 최종 작업 전이 성능과 샘플 효율성에 어떤 영향을 미치는지 평가하기.
• 대규모 다중 작업 사전 훈련이 작업별 특화 코딩 없이도 강력한 성능을 달성할 수 있음을 입증하기.

제안 방법

• 107개의 다양한 영어 NLP 작업을 텍스트-투-텍스트 쌍 형식으로 정리한 ExMix를 제안하며, 통합된 다중 작업 훈련을 위해 사용한다.
• 모든 작업에서 동일한 목적 함수를 사용하여 C4에서의 자기지도 스팬 노이즈 제거와 ExMix에서의 지도 학습을 조합한 방식으로 ExT5를 사전 훈련한다.
• 각 작업에서 비례 샘플링을 적용하여 데이터 분포를 균형 잡고 고자원 작업에 대한 과적합을 방지한다.
• 모든 작업에서 공유 파라미터를 사용하는 표준 T5 아키텍처를 사용하여 파라미터 효율적인 다중 작업 학습을 가능하게 한다.
• 배치 크기, 학습률, 조기 정지 등의 표준 훈련 프rotocol를 사용하며, 표준 벤치마크에서 평가를 수행한다.
• 여러 개의 최종 작업과 사전 훈련 단계에서 ExT5를 일반 T5 및 기타 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 다중 작업 사전 훈련에서 작업 수를 늘릴 경우, 더 작은 수의 수작업으로 구성된 작업 세트에 비해 최종 성능이 향상되는가?
• RQ2 매우 넓고 다양한 작업 조합이 수작업으로 조합된 조합보다 전이 학습 효과성 면에서 뛰어나게 되는가?
• RQ3 극한의 다중 작업 스케일링이 강력한 성능을 달성하기 위해 필요한 사전 훈련 스텝 수를 줄이는가?
• RQ4 ExMix에서의 다중 작업 사전 훈련이 모델의 일반화 능력과 샘플 효율성에 어떤 영향을 미치는가?
• RQ5 대규모 다중 작업 환경에서 다양한 작업 유형 간의 동시 전이 학습은 어떤 영향을 미치는가?

주요 결과

• ExT5는 평균 79.9점의 SuperGLUE 점수를 기록하여 일반 T5 기반 모델(76.1점)과 수작업으로 구성된 최적의 작업 조합(76.4점)을 뛰어넘었다.
• ExT5는 단지 200,000개의 사전 훈련 스텝 이후에도 T5.1.1(200,000 스텝 기준 83.8점)을 능가하며, 200,000 스텝에서 85.3점에 도달하여 샘플 효율성이 뛰어나다는 것을 보여주었다.
• WiC 벤치마크에서 ExT5는 평균 93.3점의 점수를 기록했고, 일반 T5 기반 모델은 81.7점이었다.
• 전체 ExMix 조합(107개 작업)으로 훈련된 모델은 평균 79.9점의 SuperGLUE 점수를 기록한 반면, 무작위로 선택한 55개 작업 조합은 77.0점에 머물렀다. 이는 더 큰 작업 조합이 더 효과적이라는 것을 시사한다.
• GEM, Rainbow, Closed-Book QA 작업에서 ExT5는 강력한 T5 기반 모델을 능가하며, ExMix 외부 작업으로의 넓은 전이 가능성도 입증했다.
• 수작업으로 최적의 작업 조합을 구성하는 것은 쉽지 않으며, 명시적 코딩 없이도 대규모 다중 작업 사전 훈련이 네트워크 양의 전이 성능 향상을 이끌 수 있음을 보여주었다.