[논문 리뷰] A Kernel-Based View of Language Model Fine-Tuning

Sadhika Malladi, Alexander Wettig외 3명|arXiv (Cornell University)|2022. 10. 11.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(LMs)의 미세조정 성공을 이론적으로 설명하기 위해 커널 기반 프레임워크를 제안한다. Adam 최적화와 프롬프트를 사용한 미세조정에서의 동역학이 종종 신경 탄성 커널(NTK) 행동을 따르는 것으로 나타났다. 프롬프팅이 커널 유사 최적화를 유도함을 증명하였으며, LoRA와 같은 매개변수 효율적 방법이 커널 구조를 유지함으로써 최소한의 매개변수 업데이트로도 효과를 발휘함을 설명한다.

ABSTRACT

It has become standard to solve NLP tasks by fine-tuning pre-trained language models (LMs), especially in low-data settings. There is minimal theoretical understanding of empirical success, e.g., why fine-tuning a model with $10^8$ or more parameters on a couple dozen training points does not result in overfitting. We investigate whether the Neural Tangent Kernel (NTK) - which originated as a model to study the gradient descent dynamics of infinitely wide networks with suitable random initialization - describes fine-tuning of pre-trained LMs. This study was inspired by the decent performance of NTK for computer vision tasks (Wei et al., 2022). We extend the NTK formalism to Adam and use Tensor Programs (Yang, 2020) to characterize conditions under which the NTK lens may describe fine-tuning updates to pre-trained language models. Extensive experiments on 14 NLP tasks validate our theory and show that formulating the downstream task as a masked word prediction problem through prompting often induces kernel-based dynamics during fine-tuning. Finally, we use this kernel view to propose an explanation for the success of parameter-efficient subspace-based fine-tuning methods.

연구 동기 및 목표

• 소수의 데이터로 대규모 언어 모델을 미세조정할 때 고용량에도 불구하고 과적합되지 않는 이유를 이해한다.
• 프롬프팅의 경험적 성공, 특히 커널 유사 최적화 동역학을 유도하는 데서의 역할을 설명한다.
• 신경 탄성 커널(NTK) 프레임워크를 Adam 최적화와 비랜덤(사전학습된) 가중치 초기화에 이론적으로 확장한다.
• LoRA와 같은 매개변수 효율적 미세조정 방법에 대한 이론적 기반을 제공하기 위해 그들의 커널 행동을 분석한다.
• 14개의 다양한 NLP 작업을 통해 커널 시각의 실증적 검증을 수행하여 커널 동역학이 나타나는 조건을 규명한다.

제안 방법

• 기본 NTK 형식을 Adam 최적화로 확장하기 위해 기울기의 부호를 기반으로 하는 커널 공식을 도입하여 초기 단계의 학습 동역학을 모델링한다.
• Tensor Programs 프레임워크를 사용하여 사전학습된 비i.i.d. 초기화를 가진 무한 너비의 네트워크를 분석함으로써, 비랜덤 가중치를 가진 미세조정의 이론적 분석을 가능하게 한다.
• 사전학습된 모델 가중치에서의 기울기를 사용하여 실증적 NTK(eNTK)를 정의하여, 미세조정 중의 커널 동역학을 표현한다.
• 무한 너비 근사에서 기울기 동역학을 분석하여, 프롬프트 기반 미세조정이 트랜스포머에서 커널 행동을 유도함을 공식적으로 증명한다.
• Johnson-Lindenstrauss 렘마를 적용하여, 낮은 랭크의 매개변수 업데이트(예: LoRA)가 높은 확률로 커널 구조를 유지함을 보여준다.
• LoRA에서 SGD에 의해 유도되는 커널의 닫힌 형식 표현을 유도하고, 전체 미세조정 커널과 비교함으로써, 온건한 가정 하에서 두 커널이 유사함을 증명한다.

실험 결과

연구 질문

• RQ1 사전학습된 언어 모델의 미세조정이 어떤 조건에서 커널 기반 동역학을 보이며, 특히 Adam 최적화 하에서일까?
• RQ2 프롬프팅은 대규모 모델의 미세조정 과정에서 커널 행동의 발생에 어떻게 영향을 미치는가?
• RQ3 LoRA와 같은 매개변수 효율적 미세조정 방법의 성공은 커널 기반 시각으로 설명될 수 있는가?
• RQ4 실증적 NTK는 다양한 NLP 작업 전반에서 미세조정 동역학을 어느 정도 정확하게 기술하는가?
• RQ5 LoRA의 기울기 동역학은 커널 유사성 측면에서 전체 미세조정과 비교해 볼 때 어떻게 다른가?

주요 결과

• 프롬프트 기반 미세조정은 14개의 NLP 작업 전반에서 eNTK 예측과 실제 미세조정 성능 간의 강한 일치를 보이며, 일관되게 커널 유사 동역학을 유도한다.
• eNTK는 이전 연구에서의 이미지 작업에서 전체 미세조정 성능의 6% 이내의 분류 정확도를 달성했으며, 이 커널 기반 행동이 NLP로 일반화되었음을 확인함으로써 검증되었다.
• 랭크 $k$ 가 $k \geq \Theta(Lc^4 \log N / \epsilon^2)$ 를 만족할 경우, LoRA의 커널은 높은 확률로 전체 미세조정 커널과 매우 유사하다. 여기서 $L$ 은 LoRA 레이어 수이다.
• 이론적 분석을 통해, 비랜덤 사전학습 가중치를 가진 상태에서도 프롬프팅이 트랜스포머에서 잘 정의된 커널 행동 메커니즘을 유도함을 증명하였다.
• 실증 결과는 프롬프트가 의미 있는 경우에 커널 동역학이 가장 두드러지며, 무작위 프롬프트는 안정적인 커널 행동을 유도하지 못함을 보여준다.
• 커널 시각은 매개변수 효율적 방법의 성공을 통합적으로 설명한다: 이들은 전체 미세조정의 핵심 기울기 구조를 유지하면서도 매개변수 업데이트를 줄인다.