[논문 리뷰] Transfer Learning of Linear Regression with Multiple Pretrained Models: Benefiting from More Pretrained Models via Overparameterization Debiasing

Daniel Boharon, Yehuda Dar|arXiv (Cornell University)|2026. 02. 18.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

이 논문은 선형 전이 학습을 여러 과매개된 사전 학습 모델로 확장하고, 더 많은 모델이 도움이 되는 시점을 분석하며, 과매개화 편향을 상쇄하기 위한 디바이어싱 기법을 제안하여 일관된 전이 성능을 달성한다.

ABSTRACT

We study transfer learning for a linear regression task using several least-squares pretrained models that can be overparameterized. We formulate the target learning task as optimization that minimizes squared errors on the target dataset with penalty on the distance of the learned model from the pretrained models. We analytically formulate the test error of the learned target model and provide the corresponding empirical evaluations. Our results elucidate when using more pretrained models can improve transfer learning. Specifically, if the pretrained models are overparameterized, using sufficiently many of them is important for beneficial transfer learning. However, the learning may be compromised by overparameterization bias of pretrained models, i.e., the minimum $\ell_2$-norm solution's restriction to a small subspace spanned by the training examples in the high-dimensional parameter space. We propose a simple debiasing via multiplicative correction factor that can reduce the overparameterization bias and leverage more pretrained models to learn a target predictor.

연구 동기 및 목표

• 다수의 사전 학습 모델이 사용할 수 있을 때 선형 회귀에 대한 전이 학습을 고찰하고 분석한다.
• 사전학습 모델의 과매개화가 전이 이점에 미치는 영향과 더 많은 모델이 도움이 되거나 해로울 수 있는 시점을 특성화한다.
• 과매개화 편향을 완화하고 다수의 사전 학습 모델을 효과적으로 활용하기 위한 디바이어싱 기법을 개발한다.

제안 방법

• 목표 태스크 학습을 제곱 오차를 최소화하고 사전 학습 모델과의 거리(Penalty)를 제곱으로 하는 형식으로 공식화한다 (Eq. 6).
• 합리적 가정하에 닫힌 형식의 목표 해解를 도출한다 (Eq. 7).
• 무작위 행렬 이론을 이용해 점근적 테스트 오차를 분석한다 (Theorem 4.4, Eqs. 8–11).
• 사전 학습 모델의 수 m과 그 매개화가 전이 성능에 미치는 영향을 특성화한다 (Theorem 5.2, Corollary 5.1).
• 과매개화 디바이어싱을 제안하여 편향을 줄이는 방법으로 태스크 관계 연산자를 스케일링한다 (Section 5.4).
• 일관성/불안정성에 대해 논의한다: 언더매개화된 사전학습 모델은 m이 증가함에 따라 일관된 전이를 보이고, 과매개화된 모델은 디바이어싱 없이 불일치할 수 있다 (Theorems 5.4).

실험 결과

연구 질문

• RQ1 다수의 사전학습 모델을 타깃 선형 회귀 태스크에 사용하는 것이 얼마나 이롭습니까?
• RQ2 사전학습 모델의 과매개화가 더 많은 모델 사용으로 얻는 이득에 어떻게 영향을 미칩니까?
• RQ3 다수의 과매개화된 사전학습 모델을 사용할 때 디바이어싱 접근법이 일관성을 회복하고 전이 학습을 개선할 수 있습니까?
• RQ4 여러 사전학습 모델을 결합할 때 소스-타깃 태스크 관계 연산자 간의 상호작용은 무엇입니까?

주요 결과

• 다수의 사전학습 모델은 단일 모델 전이 학습을 능가하고 특정 매개화 규칙에서 부정적 전이를 해소하기도 한다.
• 사전학습 모델을 추가함으로써 얻는 이점은 모델 수가 많아지면 감소할 수 있으나, 디바이어싱은 과매개화 편향을 완화해 유용성을 늘릴 수 있다.
• 과매개화 편향은 m이 커질수록 전이 예측치의 불일치를 야기하지만 디바이어싱을 적용하지 않으면 그렇다.
• 가정 3.1 아래에서 닫힌 형식의 TL 해가 존재하며 단일 모델 효과를 모아주는 행렬(Gamma_TL,infty 항)을 통해 통찰을 제공한다.
• 최적 전이 하이퍼파라미터는 사전학습 모델 수와 데이터 레지임에 따라 스케일되며, 기준선으로 릿지 회귀와 연결된다 (Theorem D.1 및 Corollary 5.1).
• 제안된 디바이어싱 접근법은 소스 과매개화 수준의 역수로 관계 연산자를 스케일링하여 일관성을 개선하고 더 많은 사전학습 모델을 활용한다.