[논문 리뷰] A new similarity measure for covariate shift with applications to nonparametric regression

Reese Pathak, Cong Ma외 1명|arXiv (Cornell University)|2022. 02. 06.

Bayesian Methods and Mixture Models인용 수 6

한 줄 요약

이 논문은 비모수 회귀에서의 공변량 이탈을 특성화하기 위해 원의 확률 비율의 통합 비율에 기반한 새로운 유사도 측정법 $\rho_h(P,Q)$를 제안한다. 이는 원의 반경 $h$에 대한 소스 및 타겟 분포 하에서의 확률 비율의 통합 비율을 기반으로 하며, 나이드라야-워츠론 추정기의 최소 최대 속도를 헬더 클래스에서 날카럽게 규명한다. 이는 추정의 어려움이 $\rho_h(P,Q)$의 $h$에 대한 척도화에 의해 완전히 결정됨을 보여주며, 이는 이전의 개념인 전이 지수보다 더 정교하고 날카러운 속도 특성화를 가능하게 한다.

ABSTRACT

We study covariate shift in the context of nonparametric regression. We introduce a new measure of distribution mismatch between the source and target distributions that is based on the integrated ratio of probabilities of balls at a given radius. We use the scaling of this measure with respect to the radius to characterize the minimax rate of estimation over a family of Hölder continuous functions under covariate shift. In comparison to the recently proposed notion of transfer exponent, this measure leads to a sharper rate of convergence and is more fine-grained. We accompany our theory with concrete instances of covariate shift that illustrate this sharp difference.

연구 동기 및 목표

• 학습 및 테스트 공변량 분포가 다를지라도 조건부 반응 분포는 그대로 유지되는 비모수 회귀에서의 공변량 이탈 문제를 다루는 것.
• 기존의 유한한 우도 비율이나 전이 지수와 같은 측정법보다 더 정교하고 정확한 공변량 이탈 하에서의 추정 어려움의 특성화를 개발하는 것.
• 제안된 유사도 측정법 $\rho_h(P,Q)$의 척도화 행동과 명시적으로 연결된 나이드라야-워츠론 추정기의 최소 최대 최적 속도를 확립하는 것.

제안 방법

• 소스 측정에서의 원에 대한 확률의 역수를 통해 분포 불일치를 측정하는 새로운 유사도 측정법 $\rho_h(P,Q) = \int_{\mathcal{X}} \frac{1}{P(\mathsf{B}(x,h))} \, dQ(x)$를 제안한다.
• 공변량 이탈 하에서의 비모수 회귀의 어려움을 특성화하기 위해 $\rho_h(P,Q)$의 반경 $h$에 대한 척도화를 분석한다.
• $\rho_h(P,Q)$에 명시적으로 의존하는 나이드라야-워츠론 추정기의 평균 제곱 오차 상한을 유도하며, 이는 추정 오차가 이 측정법에 의해 제어됨을 보여준다.
• 헬더 연속 회귀 함수에 대해 최소 최대 하한을 확립하여 상한이 최악의 경우에서 최적임을 증명한다.
• 전이 지수 및 우도 비율 기반 측정법과의 비교를 통해 $\rho_h(P,Q)$가 비대칭성과 정교한 어려움을 더 잘 포착함을 보여준다.

실험 결과

연구 질문

• RQ1 기존 측정법보다 더 정밀하게 비모수 회귀에서의 공변량 이탈 하에서의 추정 어려움을 어떻게 특성화할 수 있는가?
• RQ2 제안된 유사도 측정법 $\rho_h(P,Q)$의 척도화와 최소 최대 추정 속도 사이의 정확한 관계는 무엇인가?
• RQ3 나이드라야-워츠론 추정기는 공변량 이탈 하에서 최적인가, 그리고 그 성능는 $\rho_h(P,Q)$로 완전히 특성화될 수 있는가?
• RQ4 전이 지수 및 우도 비율 기반 측정법과 비교해 볼 때, 새로운 측정법 $\rho_h(P,Q)$는 날카움과 표현력 면에서 어떻게 다른가?
• RQ5 기저 공간 $\mathcal{X}$의 기하학적 및 거리적 성질을 이용해 $\rho_h(P,Q)$를 제어할 수 있는가?

주요 결과

• 헬더 클래스에서의 공변량 이탈 하에서 비모수 회귀의 최소 최대 위험은 $\rho_h(P,Q)$의 반경 $h$에 대한 척도화에 의해 완전히 결정되며, 이는 엄밀한 특성화를 제공한다.
• 제안된 유사도 측정법 $\rho_h(P,Q)$는 전이 지수보다 더 날카롭고 정교한 추정 속도를 이끌어내며, 특히 소스 및 타겟 분포 간의 비대칭성을 잘 포착한다.
• 나이드라야-워츠론 추정기의 평균 제곱 오차 상한은 $\rho_h(P,Q)$에 명시적으로 표현되며, 이는 추정 오차가 $\rho_h(P,Q)$가 증가함에 따라 증가함을 보여준다.
• 일치하는 최소 최대 하한이 도출되어 상한이 최악의 경우에서 최적임을 증명하며, 동일한 $\rho_h(P,Q)$ 척도화 조건 하에서는 어떤 추정제도 더 나은 속도를 달성할 수 없다.
• 특정 예시로 $[0,1]$에서 균일 분포 및 힘법칙 분포의 경우, $\rho_h(P,Q)$가 $h^{-\gamma}$로 척도화됨을 보이며, 이에 따라 유도된 속도는 적절한 조건 하에서 알려진 최적의 비모수 속도와 일치한다.