[논문 리뷰] Transfer Learning for Linear Regression: a Statistical Test of Gain

David Obst, Badih Ghattas외 4명|arXiv (Cornell University)|2021. 02. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 7

한 줄 요약

이 논문은 미세조정된 전이학습이 타겟 작업에서 선형 회귀 성능을 사전 학습 없이 학습하는 것보다 향상시키는지 여부를 판단하기 위한 통계적 가설 검정을 제안한다. 공분산 행렬의 고유분해 기반의 검정 통계량과 매개변수 차이의 경계를 바탕으로, 제어된 I형 오류를 갖는 가설 검정을 가능하게 하며, 시뮬레이션 데이터와 전기 소비 데이터에서 검증되었다.

ABSTRACT

Transfer learning, also referred as knowledge transfer, aims at reusing knowledge from a source dataset to a similar target one. While many empirical studies illustrate the benefits of transfer learning, few theoretical results are established especially for regression problems. In this paper a theoretical framework for the problem of parameter transfer for the linear model is proposed. It is shown that the quality of transfer for a new input vector $x$ depends on its representation in an eigenbasis involving the parameters of the problem. Furthermore a statistical test is constructed to predict whether a fine-tuned model has a lower prediction quadratic risk than the base target model for an unobserved sample. Efficiency of the test is illustrated on synthetic data as well as real electricity consumption data.

연구 동기 및 목표

• 선형 회귀에 대한 전이학습에서 이론적 보장의 부족, 특히 부정적 전이의 문제를 해결하기 위해.
• 타겟 데이터에서 사전 학습 없이 학습하는 것보다 미세조정된 전이학습이 예측 위험을 낮추는지 여부를 판단하는 통계적 검정을 개발하기 위해.
• 특히 타겟 데이터가 제한적인 상황에서, 전이 성과를 사전에 평가할 수 있는 실용적이고 데이터 기반의 방법을 제공하기 위해.
• 기존의 매개변수 분리 정도에 대한 경계를 활용해, 검정 통계량의 보수적 하한을 유도함으로써 I형 오류를 제어하기 위해.
• 시뮬레이션 데이터와 실제 전력 소비 예측 데이터(GEFCOM2012)를 통해 방법의 유효성을 검증하기 위해.

제안 방법

• 미세조정된 모델과 기본 타겟 모델 간의 제곱 위험 차이를 바탕으로 한 통계적 검정을 제안한다.
• 입력 벡터 $x$, 타겟 공분산의 고유기저, 그리고 소스-타겟 매개변수 차이에 의존하는 검정 통계량 $\phi_k(x)$ 를 유도한다.
• 기존의 $\|\beta_T - \beta_S\|/\sigma_T$ 의 경계 $\rho$ 를 활용해 $\phi_k(x)$ 의 보수적 하한 $\psi_k(x)$ 를 도입한다.
• 검정의 p-value를 계산하기 위해 F-분포 근사를 사용하여 I형 오류 수준 $\alpha$ 를 제어한다.
• 입력이 전이 품질이 매개변수 이동과의 정렬도에 따라 영향을 받는 기저에서 표현될 수 있도록, 타겟 및 소스 공분산 행렬의 고유분해를 활용한다.
• 학습 데이터에서 관찰된 전이 성과와 정밀도-재현율 트레이드오프를 통해 하이퍼파rameter $k$(고유기저 인덱스)와 $\rho$ 를 校정한다.

실험 결과

연구 질문

• RQ1 선형 회귀에 대한 미세조정된 전이학습이 사전 학습 없이 학습하는 것보다 예측 위험을 낮추는 조건은 무엇인가?
• RQ2 새로운 입력 벡터에 대해 배포 이전에 전이 성과를 예측할 수 있는 통계적 검정을 구성할 수 있는가?
• RQ3 유의수준이 보장되는 빈도주의 프레임워크에서 부정적 전이의 위험을 어떻게 제어할 수 있는가?
• RQ4 공분산 행렬의 고유기저가 전이 품질을 결정하는 데 어떤 역할을 하는가?
• RQ5 검정을 실용적으로 사용할 수 있도록, 알려지지 않은 매개변수 차이 $\|\beta_T - \beta_S\|$ 를 어떻게 경계할 수 있는가?

주요 결과

• 제안된 검정은 위험 차이가 0일 때 최대 오류가 발생하는 조건을 확보함으로써, 수준 $\alpha$ 에서 I형 오류를 제어한다.
• 귀무가설 하에서 검정 통계량 $\phi_k(x)$ 가 F-분포에 의해 확률적으로 유계임이 입증되어 p-value 계산이 가능해진다.
• 기존의 $\rho$ 를 활용해 정규화된 매개변수 차이 $\|\beta_T - \beta_S\|/\sigma_T$ 의 경계를 활용해, $\phi_k(x)$ 의 실용적 하한 $\psi_k(x)$ 를 도출하였다.
• 전이 성과가 관찰된 레이블이 부여된 학습 데이터 세트에서 정밀도-재현율 트레이드오프를 통해 $k$ 와 $\rho$ 의 경험적 校정을 수행하였다.
• 이 방법은 시뮬레이션 데이터와 GEFCOM2012의 실제 전력 소비 데이터에서 유익한 전이를 성공적으로 식별하였으며, 기준 모델 대비 일관된 성능 향상을 보였다.
• 모델 잘못 설정에 대해 검정이 강건하며, 진짜 매개변수 차이가 알려지지 않은 상태에서도 $\rho$ 가 보수적으로 추정된다면 검정의 유효성이 유지된다.