[论文解读] A new similarity measure for covariate shift with applications to nonparametric regression

Reese Pathak, Cong Ma+1 more|arXiv (Cornell University)|Feb 6, 2022

Bayesian Methods and Mixture Models被引用 6

一句话总结

本文提出了一种新的相似性度量 $\rho_h(P,Q)$，基于源分布和目标分布下半径为 $h$ 的球体概率的积分比，用于表征非参数回归中的协变量偏移。该文建立了在 Hölder 类上 Nadaraya-Watson 估计器的精确极小极大率，表明估计难度完全由 $\rho_h(P,Q)$ 随 $h$ 的缩放行为决定，其在细粒度和率表征的精确性方面优于先前的转移指数等概念。

ABSTRACT

We study covariate shift in the context of nonparametric regression. We introduce a new measure of distribution mismatch between the source and target distributions that is based on the integrated ratio of probabilities of balls at a given radius. We use the scaling of this measure with respect to the radius to characterize the minimax rate of estimation over a family of Hölder continuous functions under covariate shift. In comparison to the recently proposed notion of transfer exponent, this measure leads to a sharper rate of convergence and is more fine-grained. We accompany our theory with concrete instances of covariate shift that illustrate this sharp difference.

研究动机与目标

• 为解决非参数回归中的协变量偏移问题，其中训练集和测试集的协变量分布不同，但条件响应分布保持不变。
• 开发一种比现有度量（如有界似然比或转移指数）更精细、更准确的估计难度表征方法。
• 通过明确关联所提出的相似性度量 $\rho_h(P,Q)$ 的缩放行为，建立 Nadaraya-Watson 估计器的极小极大最优率。

提出的方法

• 提出新的相似性度量 $\rho_h(P,Q) = \int_{\mathcal{X}} \frac{1}{P(\mathsf{B}(x,h))} \, dQ(x)$，通过源测度下球体的逆概率来量化分布不匹配。
• 分析 $\rho_h(P,Q)$ 随半径 $h$ 的缩放行为，以表征协变量偏移下非参数回归的难度。
• 推导 Nadaraya-Watson 估计器均方误差的上界，明确依赖于 $\rho_h(P,Q)$，表明估计误差受该度量控制。
• 为 Hölder 连续回归函数建立匹配的极小极大下界，证明上界在最坏情况意义下是最优的。
• 将 $\rho_h(P,Q)$ 与现有度量（如转移指数和基于似然比的度量）进行比较，证明其在捕捉源与目标分布之间不对称性及估计难度的细粒度特征方面具有优势。

实验结果

研究问题

• RQ1 我们能否比现有度量更精确地表征协变量偏移下非参数回归的估计难度？
• RQ2 所提出的相似性度量 $\rho_h(P,Q)$ 的缩放行为与极小极大估计率之间的确切关系是什么？
• RQ3 Nadaraya-Watson 估计器在协变量偏移下是否最优？其性能能否被 $\rho_h(P,Q)$ 完全表征？
• RQ4 与转移指数和基于似然比的度量相比，新度量 $\rho_h(P,Q)$ 在精确性和表达能力方面有何优势？
• RQ5 能否利用底层空间 $\mathcal{X}$ 的几何和度量性质来控制相似性度量 $\rho_h(P,Q)$？

主要发现

• 在协变量偏移下，非参数回归在 Hölder 类上的极小极大风险完全由 $\rho_h(P,Q)$ 随半径 $h$ 的缩放行为决定，实现了紧密的表征。
• 所提出的相似性度量 $\rho_h(P,Q)$ 提供了比转移指数更尖锐、更精细的估计率，尤其在捕捉源与目标分布之间的不对称性方面表现更优。
• Nadaraya-Watson 估计器的均方误差上界被明确表达为 $\rho_h(P,Q)$ 的函数，表明估计误差随 $\rho_h(P,Q)$ 增大而增加。
• 推导出匹配的极小极大下界，证明上界是最优的，且在相同 $\rho_h(P,Q)$ 缩放条件下，任何估计器都无法获得更优的收敛率。
• 对于 $[0,1]$ 上的均匀分布和幂律分布等具体情形，本文表明 $\rho_h(P,Q)$ 的缩放行为为 $h^{-\gamma}$，且在适当条件下，所得率与已知的最优非参数率一致。