[论文解读] Analysis of Kernel Mean Matching under Covariate Shift

Yaoliang Yu, Csaba Szepesv ri|arXiv (Cornell University)|Jun 18, 2012

Face and Expression Recognition参考文献 22被引用 49

一句话总结

本文在协变量偏移设定下分析核均值匹配（KMM），推导出高概率置信区间，表明KMM的收敛速度取决于回归函数的正则性以及核的容量。研究证明KMM在偏差校正方面优于插补估计器，为KMM在领域自适应场景中的有效性提供了理论依据。

ABSTRACT

In real supervised learning scenarios, it is not uncommon that the training and test sample follow different probability distributions, thus rendering the necessity to correct the sampling bias. Focusing on a particular covariate shift problem, we derive high probability confidence bounds for the kernel mean matching (KMM) estimator, whose convergence rate turns out to depend on some regularity measure of the regression function and also on some capacity measure of the kernel. By comparing KMM with the natural plug-in estimator, we establish the superiority of the former hence provide concrete evidence/understanding to the effectiveness of KMM under covariate shift.

研究动机与目标

• 在领域自适应中常见的协变量偏移设定下，对核均值匹配（KMM）的性能进行理论分析。
• 为KMM估计器推导出高概率置信区间，量化在分布偏移下的估计误差。
• 将KMM与自然插补估计器进行比较，建立理论条件，说明在何种情况下KMM优于后者。
• 将KMM的收敛速度与回归函数的内在属性及核的容量联系起来。
• 为KMM在存在分布不匹配的实际机器学习应用中取得的实证成功提供理论依据。

提出的方法

• 利用统计学习理论工具，为KMM估计器推导出高概率置信区间。
• 引入一种衡量回归函数正则性的指标，该指标影响KMM的收敛速度。
• 定义一种衡量核容量的指标，该指标影响估计误差，从而将核的选择与性能关联起来。
• 采用约束优化框架，重新加权训练样本，使其协变量分布与测试分布相匹配。
• 在相同假设下，比较KMM与插补估计器的一般化误差。
• 使用集中不等式和经验过程理论，对期望和高概率下的估计误差进行上界估计。

实验结果

研究问题

• RQ1 KMM估计器的收敛速度如何依赖于回归函数的平滑性？
• RQ2 在协变量偏移下，核的容量在决定KMM的估计误差方面起什么作用？
• RQ3 在何种条件下，KMM在估计误差方面优于标准插补估计器？
• RQ4 能否在协变量偏移存在的情况下，为KMM估计器严格推导出高概率置信区间？
• RQ5 在偏差与方差权衡方面，KMM的理论性质与插补估计器相比如何？

主要发现

• KMM估计器的收敛速度取决于回归函数的正则性以及所用核的容量。
• 在相同假设下，KMM的估计误差界优于插补估计器，证明其在偏差校正方面具有优越性。
• 利用集中不等式推导出KMM的高概率置信区间，提供了有限样本保证。
• 理论分析证实，当核的容量较低且回归函数较光滑时，KMM能有效缓解由协变量偏移引起的抽样偏差。
• 本文建立的理论表明，KMM与插补估计器之间的性能差距随回归函数正则性的提高和核容量的降低而增大。
• 结果为KMM在存在分布偏移的领域自适应任务中取得的实证成功提供了理论基础。