[논문 리뷰] Scaling Laws for Transfer

Danny Hernandez, Jared Kaplan외 2명|arXiv (Cornell University)|2021. 02. 02.

Topic Modeling참고 문헌 26인용 수 26

한 줄 요약

본 논문은 비지도 미세조정에서 분포 간 전이 학습에 대한 경험적 스케일링 법칙을 도출하고, 유효한 전이 데이터 D_T를 제시하며, 그것이 모델 크기와 미세조정 데이터에 대해 거듭제곱 법칙을 따른다는 점을 보여준다.

ABSTRACT

We study empirical scaling laws for transfer learning between distributions in an unsupervised, fine-tuning setting. When we train increasingly large neural networks from-scratch on a fixed-size dataset, they eventually become data-limited and stop improving in performance (cross-entropy loss). When we do the same for models pre-trained on a large language dataset, the slope in performance gains is merely reduced rather than going to zero. We calculate the effective data "transferred" from pre-training by determining how much data a transformer of the same size would have required to achieve the same loss when training from scratch. In other words, we focus on units of data while holding everything else fixed. We find that the effective data transferred is described well in the low data regime by a power-law of parameter count and fine-tuning dataset size. We believe the exponents in these power-laws correspond to measures of the generality of a model and proximity of distributions (in a directed rather than symmetric sense). We find that pre-training effectively multiplies the fine-tuning dataset size. Transfer, like overall performance, scales predictably in terms of parameters, data, and compute.

연구 동기 및 목표

• 비지도 미세조정 설정에서 분포 간의 전이 특징을 특성화한다.
• 전이 효율성에 대한 사전 학습의 영향을 유효 데이터 전송 지표 D_T를 통해 정량화한다.
• 모델 크기(N), 미세조정 데이터(D_F), 그리고 전이된 데이터(D_T) 간의 거듭제곱 관계를 식별한다.
• 데이터 부족 환경에서 사전 학습이 성능에 미치는 도움 여부(ossification)를 평가한다.

제안 방법

• 4개 규모의 범위에서 파생된 4 orders of magnitude의 사이즈와 데이터 regime에서 트랜스포머 모델을 훈련한다(처음부터 학습, 코드에 대한 언어 사전학습 후 미세조정, 혼합 사전학습).
• 같은 크기의 from-scratch 모델이 다운스트림 작업에서 같은 손실에 도달하는 데 필요한 데이터 양으로 '유효 데이터 transferred' D_T를 정의하고 계산한다.
• D_T를 형태 L = k (D_F)^{alpha} (N)^{beta}의 파워-룰에 맞춰 적합하고, alpha, beta, k가 분포에 따라 어떻게 변화하는지 분석한다.
• 교차 엔트로피 손실 L을 사용해 성능을 평가하고 데이터가 낮은-데이터 vs 높은-데이터 regime를 결정한다(D_F가 D(N)에 상대적으로).
• 텍스트에서 코드로의 전이 및 혼합 텍스트/코드 사전학습의 전이를 비교하고 사전학습이 ossification 및 계산 효율성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 모델 크기 N과 미세조정 데이터 D_F에 따라 유효 데이터 transferred D_T의 스케일이 어떻게 변하는가?
• RQ2 전이 계수(k, alpha, beta)가 출발 분포와 목표 분포에 의존하는가, 그리고 이것이 분포 간 근접성에 대해 무엇을 시사하는가?
• RQ3 데이터가 부족한 조건에서 사전 학습이 데이터 효율성과 계산 효율성의 경계에 어떤 영향을 미치는가?
• RQ4 더 큰 데이터 regime에서 사전 학습이 미세조정 성능에 해를 끼칠 수 있는가(ossification)?
• RQ5 이 스케일링 법칙이 사전학습 데이터 구성과 모델 크기를 선택하는 데 어떤 현실적인 시사점을 주는가?

주요 결과

• D_T는 저데이터 리짐에서 파워-룰을 따른다: D_T = k (D_F)^{alpha} (N)^{beta}.
• 텍스트→ 파이썬 전이에서 beta ≈ 0.38이고 alpha ≈ 0.18이며, k ≈ 1.9e4; 텍스트 50%와 비파이썬 코드 50%일 때 beta ≈ 0.38, alpha ≈ 0.096, k ≈ 2.1e5.
• 사전학습은 저데이터 리짐에서 미세조정 데이터 양을 효과적으로 곱하여 데이터 효율성을 높이고 미세조정의 계산 효율성을 가능하게 한다.
• ossification은 고데이터 리짐에서 사전학습이 적응에 해를 끼칠 때 발생할 수 있으며, 특히 아주 큰 다운스트림 데이터 세트에 대해 작은 모델에서 그렇다.
• 전이 계수는 분포 근접성에 대한 저렴한 방향성 측정치를 제공하며, 미세조정 데이터 수집과 모델 크기 증가 사이의 트레이드를 안내할 수 있다.
• 미세조정은 일반적으로 저데이터 리짐에서 처음부터 학습하는 것보다 계산 효율적이지만, 다운스트림 데이터가 늘어나면 이 이점은 감소한다.