[논문 리뷰] The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression

Yehuda Dar, Daniel LeJeune외 1명|arXiv (Cornell University)|2021. 03. 09.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 과다 매개변수화된 선형 회귀에서 전이 학습을 분석하며, 타겟 모델의 파라미터를 사전 학습된 소스 파라미터에 가까이 유지하도록 정규화함으로써 전이 학습을 다룹니다. 충분한 작업 유사성 하에서 최적의 퍼티튜닝을 통해 전이 학습이 독립된 타겟 작업의 최소 평균 제곱 오차(MMSE) 해법조차도 능가할 수 있음을 분석적으로 증명하며, 이는 双중 내림침 피크를 해결하고 기존 리지 회귀를 초월한 해법 공간을 제공합니다.

ABSTRACT

We study a fundamental transfer learning process from source to target linear regression tasks, including overparameterized settings where there are more learned parameters than data samples. The target task learning is addressed by using its training data together with the parameters previously computed for the source task. We define a transfer learning approach to the target task as a linear regression optimization with a regularization on the distance between the to-be-learned target parameters and the already-learned source parameters. We analytically characterize the generalization performance of our transfer learning approach and demonstrate its ability to resolve the peak in generalization errors in double descent phenomena of the minimum L2-norm solution to linear regression. Moreover, we show that for sufficiently related tasks, the optimally tuned transfer learning approach can outperform the optimally tuned ridge regression method, even when the true parameter vector conforms to an isotropic Gaussian prior distribution. Namely, we demonstrate that transfer learning can beat the minimum mean square error (MMSE) solution of the independent target task. Our results emphasize the ability of transfer learning to extend the solution space to the target task and, by that, to have an improved MMSE solution. We formulate the linear MMSE solution to our transfer learning setting and point out its key differences from the common design philosophy to transfer learning.

연구 동기 및 목표

• 과다 매개변수화된 선형 회귀에서 전이 학습의 일반화 성능을 이해하는 것, 특히 双중 내림침 영역에서의 성능을 중심으로 하며.
• 진짜 파라미터가 등방성 가우시안 사전분포를 따를 때조차도 전이 학습이 최적의 리지 회귀 해법을 능가할 수 있는지 조사하는 것.
• 전이 학습을 위한 선형 MMSE 해법을 특성화하고, 기존의 전이 학습 설계와 대조하는 것.
• 고차원 설정에서 소스 및 타겟 파라미터 간의 정규화가 일반화 오차에 어떤 영향을 미치는지 분석하는 것.
• 전이 학습이 해법 공간을 확장하여 표준 기준보다 더 나은 평균 제곱 오차 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 타겟 모델이 소스 작업에서 학습된 파라미터로부터의 이탈을 방지하는 정규화된 목적함수를 사용하는 전이 학습 프레임워크를 제안함.
• 정규화 항으로서 타겟 및 소스 파라미터 간의 제곱 ℓ₂ 거리에 비례하는 항을 사용하며, 조정 가능한 하이퍼파rameter α_TL를 포함함.
• 등방성 사전분포 하에서 고유한 일반화 오차의 기대값을 랜덤 매트릭스 이론과 점근적 분석을 통해 유도함.
• 고차원 설정에서 기대 오차의 극한 표현을 계산하기 위해 랜덤 매트릭스 이론의 추적 근사(레마 E.1)를 적용함.
• 소스 및 타겟 데이터의 결합 분포 하에서 평균 제곱 오차를 최소화함으로써 타겟 작업의 파라미터 벡터에 대한 선형 MMSE 추정기의 유도.
• 전이 학습 해법을 최소 ℓ₂-노름 해법과 리지 회귀와 비교하며, 그것이 우월해지는 조건을 보여줌.

실험 결과

연구 질문

• RQ1 진짜 파라미터가 등방성 가우시안 사전분포를 따를 때조차도 전이 학습이 최적의 리지 회귀 해법을 능가할 수 있는가?
• RQ2 과다 매개변수화된 선형 회귀에서 전이 학습은 双중 내림침 현상, 특히 일반화 오차의 피크에 어떤 영향을 미치는가?
• RQ3 이 설정에서 전이 학습의 선형 MMSE 해법은 무엇이며, 기존의 전이 학습 히우리스틱과 어떻게 다를까?
• RQ4 어떤 조건에서 전이 학습이 타겟 작업을 독립적으로 학습하는 것보다 더 나은 일반화를 달성하는가?
• RQ5 전이 학습이 표준 추정기보다 더 나은 최소 평균 제곱 오차를 달성할 수 있도록 해법 공간을 확장할 수 있는가?

주요 결과

• 최적의 퍼티튜닝을 통해 정규화된 전이 학습은 등방성 가우시안 사전분포 하에서도 독립된 타겟 작업의 최소 평균 제곱 오차(MMSE) 해법을 능가할 수 있음.
• 제안된 전이 학습 방법은 과다 매개변수화된 선형 회귀에서 최소 ℓ₂-노름 해법의 双중 내림침 현상에서 발생하는 일반화 오차 피크를 해결함.
• 전이 학습을 위한 선형 MMSE 추정기는 유도되었으며, 일반적으로 사용되는 정규화 기반 전이 학습 접근법과 근본적으로 다름.
• 고차원 극한에서 랜덤 매트릭스 이론의 추적 근사를 사용하여 전이 학습의 기대 일반화 오차를 분석적으로 특성화함.
• 작업 간 유사성이 충분히 높을 경우, 적절한 α_TL 퍼티튜닝을 통해 전이 학습은 리지 회귀보다 더 낮은 기대 오차를 달성하며, 이는 MMSE 기준에서의 우월성을 보여줌.
• 전이 학습을 통해 타겟 작업의 해법 공간이 확장되어, 표준 정규화만으로는 달성할 수 없는 개선된 추정 성능이 가능함.