[논문 리뷰] Near-Optimal Linear Regression under Distribution Shift

Qi Lei, Wei Hu외 1명|arXiv (Cornell University)|2021. 06. 23.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 분포 이탈 하에서 선형 회귀를 위한 근미니멈 최적 선형 추정기들을 제안한다. 라벨이 붙은 소스 데이터와 라벨이 없는 타겟 데이터를 사용하여, 추정된 입력 공분산을 통한 정규화 적응을 통해, 공변량 이탈 및 모델 이탈 설정에서 최소 최악의 위험에 비해 상수 요인 내의 위험을 달성한다. 이는 이론적으로나 실무적으로 릿지 회귀보다 뛰어나다.

ABSTRACT

Transfer learning is essential when sufficient data comes from the source domain, with scarce labeled data from the target domain. We develop estimators that achieve minimax linear risk for linear regression problems under distribution shift. Our algorithms cover different transfer learning settings including covariate shift and model shift. We also consider when data are generated from either linear or general nonlinear models. We show that linear minimax estimators are within an absolute constant of the minimax risk even among nonlinear estimators for various source/target distributions.

연구 동기 및 목표

• 타겟 도메인 데이터가 부족한 상황에서 소스 도메인 데이터가 풍부할 때 분포 이탈 하에서 선형 회귀 문제를 해결한다.
• 공변량 이탈 및 모델 이탈 하에서 선형 회귀에 대해 근미니멈 위험을 달성하는 추정기를 개발한다.
• 비선형 추정기의 성능을 상수 요인 내에서 따라잡을 수 있는 선형 추정기의 조건을 규명한다.
• 표준 데이터 집중 가정 하에서 위험 경계에 대한 이론적 보장을 제공한다.
• 분포 이탈 상황에서 기존 릿지 회귀보다 데이터에 의존적인 정규화가 우월함을 입증한다.

제안 방법

• 라벨이 붙은 소스 데이터와 라벨이 없는 타겟 데이터를 활용하여 최적의 선형 추정기를 추정하는 이중 단계 메타알고리즘을 제안한다.
• 라벨이 없는 타겟 데이터로부터의 경험적 공분산 행렬을 사용하여 정규화를 적응시켜, 입력 분포 이탈에 대한 강건성을 확보한다.
• 편향-분산 분해를 통한 최악의 위험 분석을 바탕으로, 선형 추정기 위의 행렬 최적화 문제로 위험 최소화 문제를 공식화한다.
• 입력 특징에 대한 서브가우시안 가정을 사용하여 추정된 공분산의 고확률 농도 경계를 확립한다.
• 공분산 행렬이 서로 가환성을 만족할 경우, 비선형 추정기들 사이에서도 추정기의 위험이 최소 최악의 위험에 상수 요인 내에 머무름을 증명한다.
• 두 번째 모멘트 행렬이 가환성을 만족할 조건 하에서, 릿지 회귀보다 $\tilde{O}(d^{-1/4})$ 요인만큼 향상된 이론적 분리 결과를 유도한다.

실험 결과

연구 질문

• RQ1 분포 이탈 하에서 선형 추정기는 근미니멈 위험을 달성할 수 있는가?
• RQ2 타겟 도메인 공분산을 기반으로 한 데이터에 의존적인 정규화는 고정된 정규화 방식인 릿지 회귀보다 성능 향상에 기여하는가?
• RQ3 선형 추정기가 비선형 추정기의 성능을 상수 요인 내에서 따라잡을 수 있는 조건은 무엇인가?
• RQ4 공변량 이탈 하에서 릿지 회귀와 최소 최악의 추정기 사이의 이론적 격차는 무엇인가?
• RQ5 소스 및 타겟 입력 공분산 행렬이 가환성을 만족할 경우, 제안된 방법의 성능은 어떻게 되는가?

주요 결과

• 제안된 추정기는 일반적인 비선형 데이터 모델 하에서도 모든 선형 추정기 중 최소 최악의 위험에 상수 요인 내에서 도달한다.
• 소스 및 타겟 도메인의 두 번째 모멘트 행렬이 가환성을 만족할 경우, 비선형 추정기를 포함한 모든 가능한 추정기 중에서 근미니멈 위험을 달성한다.
• 공변량 이탈 하에서 릿지 회귀보다 $\tilde{O}(d^{-1/4})$ 요인만큼 위험 측면에서 이론적 개선이 이루어진다.
• 이론적 분석을 통해, 라벨이 없는 타겟 데이터에 기반한 데이터에 의존적인 정규화가 분포 이탈로 인한 성능 저하를 완화하는 데 필수적임을 확인한다.
• 실증 결과는 제안된 추정기가 다양한 분포 이탈 상황에서 릿지 회귀 및 히وري스틱 기반 기준보다 뚜렷이 뛰어난 성능을 보임을 검증한다.
• 입력 특징에 대한 표준 서브가우시안 가정 하에서 위험 경계는 강건하며, 추정된 공분산의 고확률 농도가 성립한다.