[논문 리뷰] Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning

Armen Aghajanyan, Luke Zettlemoyer외 1명|arXiv (Cornell University)|2020. 12. 22.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 사전 훈련된 언어 모델의 미세조정 성능이 낮은 내재 차원성 때문이라는 가설을 제시한다. 즉, 하류 작업은 전체 모델보다 훨씬 적은 수의 파라미터로 최적화될 수 있다는 것이다. 저자들은 MRPC 데이터셋에서 전체 모델 성능의 90%를 달성하기 위해 단지 200개의 무작위 투영 파라미터로 미세조정을 수행했으며, 더 큰 모델일수록 내재 차원성이 낮아지므로 일반화 성능이 뛰어나다는 점을 설명한다.

ABSTRACT

Although pretrained language models can be fine-tuned to produce state-of-the-art results for a very wide range of language understanding tasks, the dynamics of this process are not well understood, especially in the low data regime. Why can we use relatively vanilla gradient descent algorithms (e.g., without strong regularization) to tune a model with hundreds of millions of parameters on datasets with only hundreds or thousands of labeled examples? In this paper, we argue that analyzing fine-tuning through the lens of intrinsic dimension provides us with empirical and theoretical intuitions to explain this remarkable phenomenon. We empirically show that common pre-trained models have a very low intrinsic dimension; in other words, there exists a low dimension reparameterization that is as effective for fine-tuning as the full parameter space. For example, by optimizing only 200 trainable parameters randomly projected back into the full space, we can tune a RoBERTa model to achieve 90\\% of the full parameter performance levels on MRPC. Furthermore, we empirically show that pre-training implicitly minimizes intrinsic dimension and, perhaps surprisingly, larger models tend to have lower intrinsic dimension after a fixed number of pre-training updates, at least in part explaining their extreme effectiveness. Lastly, we connect intrinsic dimensionality with low dimensional task representations and compression based generalization bounds to provide intrinsic-dimension-based generalization bounds that are independent of the full parameter count.

연구 동기 및 목표

• 거대한 사전 훈련된 언어 모델의 미세조정이 막대한 파라미터 수와 제한된 레이블 데이터에도 불구하고 왜 잘 일반화되는지 이해하기 위해.
• 미세조정의 성공이 사전 훈련된 표현 공간 내 하류 작업의 낮은 내재 차원성에서 기인하는지 조사하기 위해.
• 사전 훈련이 하류 작업의 내재 차원성을 직접 접근하지 않더라도 암묵적으로 최소화하는 방식을 이해하기 위해.
• 전체 파라미터 수가 아닌 내재 차원 $ d $ 를 기반으로 한 일반화 경계를 유도하여 모델 일반화에 대한 새로운 이론적 시각을 제공하기 위해.
• 다양한 사전 훈련된 모델과 작업 간의 내재 차원성을 실증적으로 측정하고 비교하여 모델 규모와의 추세를 파악하기 위해.

제안 방법

• 전체 파라미터 공간의 저차원 부분공간(무작위 투영을 통해)을 최적화하고 성능을 평가하여 미세조정의 내재 차원성을 측정한다.
• 소수의 학습 가능한 파라미터(예: 200개)를 무작위 투영 기법을 사용해 전체 모델의 파라미터 공간에 매핑하여 저차원 최적화를 시뮬레이션한다.
• 압축 기반 일반화 경계(아라오라 등, 2018)를 적용하여 전체 파라미터 수 $ D $ 가 아닌 내재 차원 $ d $ 에 의존하는 경계를 도출한다.
• 여러 개의 NLP 작업과 사전 훈련된 모델을 대상으로 내재 차원성과 일반화 갭, 모델 성능 간의 상관관계를 분석한다.
• 12개 이상의 사전 훈련된 모델을 대상으로 실증 연구를 수행하여 모델 크기와 내재 차원성 간의 관계를 분석한다.
• 사전 훈련을 하류 작업의 기술적 길이(즉, 내재 차원)를 암묵적으로 최소화하는 것으로 해석하며, NLP 작업에 대한 압축 프레임워크로 작용한다.

실험 결과

연구 질문

• RQ1 큰 사전 훈련된 언어 모델을 미세조정할 때, 효과적인 파라미터 수를 극히 적게 사용해도 최적에 가까운 성능를 달성할 수 있는가?
• RQ2 사전 훈련이 하류 작업의 내재 차원성을 암묵적으로 감소시키는가? 만약 그렇다면, 이는 모델 성능과 어떻게 관련이 있는가?
• RQ3 모델 크기와 내재 차원성 간에 상관관계가 있는가? 만약 그렇다면, 이는 더 큰 모델의 성능 향상에 기여하는가?
• RQ4 내재 차원성이 전체 모델 파라미터 수와 무관한 일반화 경계의 기초가 될 수 있는가?
• RQ5 다양한 NLP 벤치마크에서 내재 차원성은 일반화 갭과 하류 작업 정확도와 어떻게 관련이 있는가?

주요 결과

• RoBERTa 모델을 200개의 무작위 투영 파라미터로만 미세조정하면, MRPC 데이터셋에서 전체 미세조정 성능의 90%를 달성한다.
• 모델 크기와 내재 차원성 간에는 강한 반비례 상관관계가 있다: 더 큰 사전 훈련된 모델일수록 내재 차원성이 낮으며, 특히 고정된 수의 사전 훈련 업데이트 이후에 더욱 두드러진다.
• 다양한 작업에서 낮은 내재 차원성은 높은 평가 정확도와 더 작은 상대 일반화 갭과 강하게 상관된다.
• 내재 차원 $ d $ 와 학습 샘플 수 $ m $ 에 기반한 압축 기반 일반화 경계는 $ ilde{O}( ext{sqrt}(d/m)) $ 의 형태로 증가하며, 이는 전체 모델 파라미터 수 $ D $ 와 무관하다.
• 사전 훈련 과정은 하류 작업의 기술적 길이를 암묵적으로 최소화하며, 실제로 NLP 작업에 대한 압축 프레임워크로 작용한다.
• 실증 결과는 내재 차원성이 모델 크기만으로는 일반화를 더 잘 예측할 수 없으며, 낮은 내재 차원성이 항상 더 나은 일반화와 관련이 있음을 보여준다.