[논문 리뷰] Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift

Kaizheng Wang|arXiv (Cornell University)|2023. 02. 20.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 공변량 이탈 하에서 커널 리지 회귀에 대한 가짜 레이블링 방법을 제안한다. 여기서 비라벨링된 타겟 데이터와 라벨링된 소스 데이터를 사용하여 보정 모델과 다수의 후보 모델을 학습시킨다. 보정 모델에서 유도된 가짜 레이블을 사용해 가장 성능이 뛰어난 후보 모델을 선택함으로써, 이 방법은 로그 인자까지 최소최대 최적 오차율을 달성한다. 이는 타겟 분포와 공변량 이탈의 구조를 적응적으로 반영하며, 타겟 데이터에 대한 라벨이 필요로 하지 않는다.

ABSTRACT

We develop and analyze a principled approach to kernel ridge regression under covariate shift. The goal is to learn a regression function with small mean squared error over a target distribution, based on unlabeled data from there and labeled data that may have a different feature distribution. We propose to split the labeled data into two subsets, and conduct kernel ridge regression on them separately to obtain a collection of candidate models and an imputation model. We use the latter to fill the missing labels and then select the best candidate accordingly. Our non-asymptotic excess risk bounds demonstrate that our estimator adapts effectively to both the structure of the target distribution and the covariate shift. This adaptation is quantified through a notion of effective sample size that reflects the value of labeled source data for the target regression task. Our estimator achieves the minimax optimal error rate up to a polylogarithmic factor, and we find that using pseudo-labels for model selection does not significantly hinder performance.

연구 동기 및 목표

• 라벨이 없는 타겟 데이터와 라벨이 있는 소스 데이터만 제공될 때, 타겟 분포에서의 평균 제곱 오차를 최소화하는 회귀 모델을 훈련하는 데 도전하는 것.
• 기존 검증 기법이 타겟 분포에서 라벨이 누락되어 실패하는 공변량 이탈 상황에서, 모델 선택을 위한 체계적인 방법을 개발하는 것.
• 보정 모델을 통한 가짜 레이블링이 조건부로 불완전한 보정 모델이어도 성능 저하 없이 효과적인 모델 선택을 가능하게 할 수 있음을 보여주는 것.
• 타겟 분포의 구조와 공변량 이탈 정도에 적응하는 비점근적 초과 위험 경계를 수립하는 것.
• 모델 선택의 '닭과 계란' 문제를 해결하기 위해, 가짜 레이블의 오버헤드가 선택 정확도 향상에 비해 무시할 만큼 작다는 것을 증명하는 것.

제안 방법

• 라벨이 있는 소스 데이터를 두 개의 상호배타적 부분집합으로 나누며, 하나는 보정 모델 학습에, 나머지 하나는 다양한 정규화 파라미터를 가진 후보 커널 리지 회귀 모델 학습에 사용된다.
• 소스 데이터의 일부에서 보정 모델을 훈련하여 비라벨링된 타겟 데이터의 레이블을 예측하고, 이로 가짜 레이블을 생성하여 모델 평가에 사용한다.
• 남은 소스 데이터를 사용하여 다양한 펜alty 파rameter를 가진 커널 리지 회귀 모델을 학습시킨다.
• 가짜 레이블이 부여된 타겟 데이터를 사용한 할당 검증을 통해 모델 선택을 수행함으로써, 문제를 표준 KRR와 검증으로 효과적으로 축소시킨다.
• 보정 모델의 영향을 분석하기 위해 새로운 편향-분산 분해를 도입하며, 이는 조건부로 노이즈가 있는 가짜 레이블도 유용할 수 있음을 보여준다.
• 이론적 분석을 통해 최종 추정기는 커널과 분포에 대한 미약한 정규성 조건 하에서 로그 인자까지 최소최대 최적 오차율을 달성함을 입증한다.

실험 결과

연구 질문

• RQ1 타겟 분포에서 라벨이 누락되어 있을 때, 가짜 레이블링이 커널 리지 회귀의 모델 선택에 효과적으로 사용될 수 있는가?
• RQ2 다른 분포(소스)에서 훈련된 보정 모델에서 유도된 가짜 레이블을 사용할 경우, 타겟 분포에 대해 유효하고 적응 가능한 추정기는 도출될 수 있는가?
• RQ3 보정 오차가 모델 선택 성능에 미치는 이론적 영향은 무엇이며, 이를 최소최대 최적성 보장 방식으로 경계화할 수 있는가?
• RQ4 제안된 방법은 알려지지 않은 공변량 이탈과 타겟 회귀 함수의 본질적 스무스함에 어떻게 적응하는가?
• RQ5 합성 레이블을 사용하고 보정 모델이 최적일 수 없을 때에도, 이 방법이 최소최대 최적 오차율을 달성할 수 있는가?

주요 결과

• 제안된 추정기는 보정 모델이 다른 분포에서 훈련되었더라도, 공변량 이탈 하에서 커널 리지 회귀의 최소최대 최적 오차율을 로그 인자까지 달성한다.
• 이 방법은 보정 오차에 대해 강건하다: 가짜 레이블 사용으로 인한 오버헤드는 보정 모델의 평균 제곱 오차에 비해 무시할 만큼 작으며, 이는 정확한 모델 선택을 가능하게 한다.
• 이론적 분석을 통해 가짜 레이블링 하에서의 모델 선택에 특화된 새로운 편향-분산 분해를 밝혀내었으며, 이는 고오차 가짜 레이블이 여전히 최적의 모델 선택을 가능하게 함을 보여준다.
• 이 방법은 알려지지 않은 타겟 분포의 구조와 공변량 이탈 정도에 적응하며, 이에 대한 사전 지식나 진짜 회귀 함수의 지식이 필요로 하지 않는다.
• RKHS의 복잡성과 공변량 이탈의 농도에 따라 의존하는 고확률 초과 위험 경계를 도출하여, 강력한 유한표본 성능을 보여준다.
• 이론적 경계를 통한 실증적 검증을 통해, 선택된 모델이 타겟 데이터에서 할당 검증이 가능했을 경우와 거의 동일한 성능을 보임을 확인하였다.