[논문 리뷰] Transcending Scaling Laws with 0.1% Extra Compute

Yi Tay, Jason Lee외 14명|arXiv (Cornell University)|2022. 10. 20.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 0.1%의 추가 컴퓨팅 자원만으로도 디노이징 목표의 혼합을 사용하여 계속 학습함으로써 대규모 언어 모델의 성능을 향상시키는 UL2R를 제안한다. UL2의 목표로 PaLM를 파인튜닝함으로써, U-PaLM 모델는 유의미하게 향상된 스케일링 법칙을 달성하여 540B 파am에 대해 2배의 계산 효율성을 확보하고, 더 작은 규모인 62B 및 8B에서도 도전적인 BIG-Bench 과제에서 잠재 능력이 드러나게 한다.

ABSTRACT

Scaling language models improves performance but comes with significant computational costs. This paper proposes UL2R, a method that substantially improves existing language models and their scaling curves with a relatively tiny amount of extra compute. The key idea is to continue training a state-of-the-art large language model (e.g., PaLM) on a few more steps with UL2's mixture-of-denoiser objective. We show that, with almost negligible extra computational costs and no new sources of data, we are able to substantially improve the scaling properties of large language models on downstream metrics. In this paper, we continue training PaLM with UL2R, introducing a new set of models at 8B, 62B, and 540B scale which we call U-PaLM. Impressively, at 540B scale, we show an approximately 2x computational savings rate where U-PaLM achieves the same performance as the final PaLM 540B model at around half its computational budget (i.e., saving $\sim$4.4 million TPUv4 hours). We further show that this improved scaling curve leads to 'emergent abilities' on challenging BIG-Bench tasks -- for instance, U-PaLM does much better than PaLM on some tasks or demonstrates better quality at much smaller scale (62B as opposed to 540B). Overall, we show that U-PaLM outperforms PaLM on many few-shot setups, i.e., English NLP tasks (e.g., commonsense reasoning, question answering), reasoning tasks with chain-of-thought (e.g., GSM8K), multilingual tasks (MGSM, TydiQA), MMLU and challenging BIG-Bench tasks. Finally, we provide qualitative examples showing the new capabilities of U-PaLM for single and multi-span infilling.

연구 동기 및 목표

• 최소한의 추가 컴퓨팅 비용으로 대규모 언어 모델의 스케일링 법칙을 향상시키는 것.
• 모델 크기나 데이터를 늘리지 않고도 대규모 언어 모델에 잠재 능력을 부여하는 것.
• 소량의 추가 훈련만으로도 새로운 프롬프팅 방식(예: 다중 스펜 인페일링)을 통해 PaLM의 功能을 확장하는 것.
• 다양한 전훈련 목표가 표준 인과적 언어 모델링을 초월해 성능 향상과 새로운 능력을 이끌 수 있음을 보여주는 것.

제안 방법

• PaLM와 같은 최신 인과적 언어 모델을 UL2의 디노이징 목적의 혼합으로 계속 훈련함으로써, 접두사 언어 모델링과 스펜 손상(인페일링) 작업을 결합한 목표를 사용한다.
• 추론 시 모드 전용 토큰([NLU], [NLG], [S2S])을 사용하여 모델의 행동을 제어함으로써 다양한 프롬프팅 모드를 가능하게 한다.
• 디노이징 목표의 조합으로 훈련: R-디노이저(스팬 손상), X-디노이저(다른 스펜 패턴을 가진 스펜 손상), S-디노이저(접두사 언어 모델링).
• 추론 시 인페일링을 위해 추가적인 ID 토큰을 도입하여, 한 번의 프롬프트로 다중 스펜을 채울 수 있도록 한다.
• 기존 훈련의 약 0.1%에 해당하는 최소한의 추가 FLOPs로 PaLM 체크포인트에 UL2 목표를 적용함으로써 모델 가중치를 유지하고 새로운 데이터가 필요 없도록 한다.
• PrefixLM와 스펜 손상 목표를 전훈련 제도에 통합함으로써 이원방향 주의와 인페일링 기능을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소량의 추가 컴퓨팅 자원이 대규모 언어 모델의 스케일링 행동을 크게 향상시킬 수 있는가?
• RQ2 디노이징 목표의 혼합이 이전까지는 매우 큰 스케일에 이르지 않으면 성능 향상이 없었던 모델에서 잠재 능력을 해금할 수 있는가?
• RQ3 인페일링과 접두사 모델링과 같은 다양한 목표로 계속 훈련하면, 자연어 처리, 추론, 다국어 작업 등 다양한 다운스트림 few-shot 성능이 향상되는가?
• RQ4 아키텍처 변경 없이도 모드 토큰과 추가 ID 토큰만으로도 하나의 모델이 다중 프롬프팅 모드(예: 인페일링, NLU, NLG)를 지원할 수 있는가?
• RQ5 인과적 언어 모델링으로 훈련된 모델이 최소한의 컴퓨팅 자원으로 이원방향 및 다중 스펜 생성을 지원하도록 향상시킬 수 있는 정도는 어느 정도인가?

주요 결과

• U-PaLM는 PaLM 540B의 성능을 약 50%의 계산 예산으로 달성하여 약 440만 개의 TPUv4 시간을 절약한다.
• 540B 규모에서 U-PaLM는 계산 효율성에서 2배 향상되어 FLOP당 성능이 두 배로 향상된다.
• 잠재적인 BIG-Bench 과제에서, PaLM가 성능을 내지 못하거나 전혀 성능을 내지 못하던 62B 및 8B 규모에서 U-PaLM는 유의미한 성능 향상을 보였다.
• U-PaLM는 공감 추론, 질의 응답, 체인 오브 토의 추론(GSM8K 등), 다국어 작업(MGSM, TydiQA), MMLU 등에서 PaLM를 능가한다.
• U-PaLM는 다중 스펜 인페일링과 모드 제어 프롬프팅([S2S], [NLU], [NLG] 등)을 지원하여 아키텍처 변경 없이 다양한 제어 가능한 생성을 가능하게 한다.
• 정성적 예시에서는 U-PaLM가 다중 스펜을 정확히 인페일링하고, 특히 복잡하거나 개방형 프롬프트에서 PaLM보다 더 정확하고 다양한 출력을 생성함을 보여준다.