[논문 리뷰] A Theoretical Analysis of Fine-tuning with Linear Teachers

Gal Shachaf, Alon Brutzkus외 1명|arXiv (Cornell University)|2021. 07. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 5

한 줄 요약

이 논문은 선형 및 딥 린어 모델에서 선형 선생 모델을 사용한 파인튜닝의 이론적 분석을 제공하며, 샘플 복잡도가 소스-타겟 가중치 차이와 타겟 데이터 공분산의 고유벡터 간의 정렬에 의존함을 보여준다. 깊이 있는 네트워크가 작업 간 척도 차이에 대해 덜 민감해지며, L2 거리가 ‖θ_T‖/√2 이하일 경우 파인튜닝이 랜덤 초기화보다 우수함을 규명한다.

ABSTRACT

Fine-tuning is a common practice in deep learning, achieving excellent generalization results on downstream tasks using relatively little training data. Although widely used in practice, it is lacking strong theoretical understanding. We analyze the sample complexity of this scheme for regression with linear teachers in several architectures. Intuitively, the success of fine-tuning depends on the similarity between the source tasks and the target task, however measuring it is non trivial. We show that a relevant measure considers the relation between the source task, the target task and the covariance structure of the target data. In the setting of linear regression, we show that under realistic settings a substantial sample complexity reduction is plausible when the above measure is low. For deep linear regression, we present a novel result regarding the inductive bias of gradient-based training when the network is initialized with pretrained weights. Using this result we show that the similarity measure for this setting is also affected by the depth of the network. We further present results on shallow ReLU models, and analyze the dependence of sample complexity there on source and target tasks. We empirically demonstrate our results for both synthetic and realistic data.

연구 동기 및 목표

• 과도한 파rameter화에도 불구하고 저자료 환경에서 파인튜닝이 잘 일반화되는 이유를 이론적으로 이해하기 위해.
• 파인튜닝 성공 여부를 결정짓는 전처리(소스 작업), 타겟 작업, 데이터 분포 간의 상호작용을 체계화하기 위해.
• 소스와 타겟 가중치 간 거리 외에 파인튜닝의 샘플 복잡도를 지배하는 핵심 요인을 규명하기 위해.
• 네트워크 깊이와 데이터 공분산 구조가 기울기 기반 파인튜닝의 인덕티브 바이어스에 어떻게 영향을 미치는지 분석하기 위해.

제안 방법

• 기울기 하강 파인튜닝 하에서 선형 및 딥 린어 신경망을 분석하며, 소스 작업을 미리 학습된 선형 선생 모델로 모델링한다.
• 테스트 오차를 정량화하기 위해 라데마처 복잡도와 무한한 너비의 헤시안 역행렬(H^∞)을 사용하여 일반화 경계를 유도한다.
• 타겟 데이터 공분산 구조를 통합한 소스와 타겟 작업 간 유사도를 측정하는 새로운 척도를 도입한다.
• 파인튜닝된 모델의 리스크가 6‖θ_T - θ_S‖₂/√n + O(√(log(n/λ₀δ)/n)) 이하로 제한됨을 증명하며, 성능이 소스-타겟 가중치 간 L2 거리와 관련됨을 연결한다.
• 더 깊은 네트워크가 소스와 타겟 작업 간 척도 차이를 암묵적으로 상쇄시켜 초기화 척도에 대한 민감도를 감소시킴을 보여준다.
• 결과를 얕은 ReLU 네트워크로 확장하여 비선형 설정에서 파인튜닝에 대한 첫 번째 샘플 복잡도 분석을 제공한다.

실험 결과

연구 질문

• RQ1 타겟 데이터의 공분산 구조는 선형 선생 모델을 사용한 파인튜닝의 샘플 복잡도에 어떻게 영향을 미치는가?
• RQ2 딥 린어 모델에서 네트워크 깊이가 기울기 기반 파인튜닝의 인덕티브 바이어스를 어떻게 형성하는가?
• RQ3 일반화 오차 측면에서 파인튜닝이 랜덤 초기화를 초월하는 조건은 무엇인가?
• RQ4 소스와 타겟 가중치 벡터 간 거리가 데이터 분포와 어떻게 상호작용하여 파인튜닝 성공 여부를 결정하는가?
• RQ5 얕은 ReLU 네트워크와 같은 비선형 모델에서 파인튜닝을 위한 이론적 프레임워크를 수립할 수 있는가?

주요 결과

• 소스와 타겟 가중치 간 차이가 타겟 데이터 공분산의 저분산 방향과 정렬될 경우, 파인튜닝의 샘플 복잡도가 크게 감소한다.
• 파인튜닝된 선형 모델의 일반화 오차는 6‖θ_T - θ_S‖₂/√n + O(√(log(n/λ₀δ)/n)) 이하로 제한되며, 이는 ‖θ_T - θ_S‖ < ‖θ_T‖/√2 일 경우 랜덤 초기화를 초월함을 보여준다.
• 더 깊은 선형 네트워크는 사전학습 가중치의 영향을 효과적으로 정규화함으로써 소스-타겟 작업 간 척도 불일치의 영향을 감소시킨다.
• 딥 린어 네트워크에서 기울기 하강의 인덕티브 바이어스는 사전학습 가중치와 네트워크 깊이에 모두 의존하며, 이는 타겟 작업과 정렬된 해를 선호하게 한다.
• 얕은 ReLU 네트워크의 경우, 본 논문은 파인튜닝에 대한 첫 번째 샘플 복잡도 결과를 확립하여 소스-타겟 작업 유사도와 데이터 분포에 의존함을 보여준다.
• 실험적 평가 결과는 이론적 발견을 뒷받침하며, 타겟 공분산 정렬과 네트워크 깊이가 파인튜닝 성공에 핵심적인 역할을 한다는 점을 확인한다.