[论文解读] Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation

Sangdon Park, Osbert Bastani+2 more|arXiv (Cornell University)|Feb 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用 17

一句话总结

该论文提出了一种新颖的方法，通过结合无监督域自适应与重要性加权，以在协变量偏移下实现校准的不确定性预测。该方法学习一个共享特征空间以对齐源域和目标域的分布，并使用重要性加权校准来提高可靠性，在 MNIST 到 SVHN 和 USPS 等基准偏移任务中，其在预期校准误差（ECE）和过度自信减少方面均优于基线方法。

ABSTRACT

Reliable uncertainty estimates are an important tool for helping autonomous agents or human decision makers understand and leverage predictive models. However, existing approaches to estimating uncertainty largely ignore the possibility of covariate shift--i.e., where the real-world data distribution may differ from the training distribution. As a consequence, existing algorithms can overestimate certainty, possibly yielding a false sense of confidence in the predictive model. We propose an algorithm for calibrating predictions that accounts for the possibility of covariate shift, given labeled examples from the training distribution and unlabeled examples from the real-world distribution. Our algorithm uses importance weighting to correct for the shift from the training to the real-world distribution. However, importance weighting relies on the training and real-world distributions to be sufficiently close. Building on ideas from domain adaptation, we additionally learn a feature map that tries to equalize these two distributions. In an empirical evaluation, we show that our proposed approach outperforms existing approaches to calibrated prediction when there is covariate shift.

研究动机与目标

• 解决机器学习模型在测试数据分布与训练数据分布不同的情况下（即协变量偏移）出现的不确定性校准偏差问题。
• 开发一种利用已标注源数据和未标注目标数据、而无需目标标签的校准预测框架。
• 通过纠正因分布偏移导致的过度自信，提高模型在安全关键应用中的可靠性。
• 形式化一个在协变量偏移下校准误差的新上界，该上界同时结合了重要性加权与域自适应。
• 通过实证验证，所提方法在分布偏移下优于标准校准技术。

提出的方法

• 该方法使用源域判别器来估计重要性权重，以反映样本属于目标（偏移）分布的可能性。
• 提出一种新的预期校准误差（ECE）上界，结合了重要性加权的 ECE 与源域判别器的误差。
• 通过对抗性域自适应学习特征映射，以最小化源域与目标域特征之间的可区分性，满足重要性加权所需的支撑集包含假设。
• 通过最小化所提出的 ECE 上界来训练不确定性预测器，并在最终分类器中使用温度缩放进行校准。
• 将无监督域自适应（通过域判别器实现）与不确定性校准相结合，实现在分布偏移下的鲁棒性能。
• 算法通过端到端方式使用已标注的源数据和未标注的目标数据进行训练，无需目标标签。

实验结果

研究问题

• RQ1 在无法获取目标标签的情况下，能否在测试分布与训练分布不同的情况下（即协变量偏移）提升机器学习模型的不确定性校准性能？
• RQ2 如何利用未标注的目标数据来纠正不确定性估计中的分布偏移？
• RQ3 将域自适应与重要性加权结合，是否能比标准方法（如温度缩放）带来更好的校准效果？
• RQ4 特征对齐与重要性加权对降低协变量偏移下预测过度自信的影响如何？
• RQ5 在不同水平的分布偏移下（如 MNIST 到 SVHN 与 MNIST 到 USPS），所提方法的表现如何？

主要发现

• 所提方法 FL+IW+Temp. 在多个协变量偏移基准测试中，其预期校准误差（ECE）显著低于基础分类器和温度缩放基线。
• 在 MNIST 到 SVHN 的偏移设置中，该方法大幅降低了 ECE，证明其在高偏移场景下的有效性。
• 消融研究显示，重要性加权带来的 ECE 改进最大，尤其当目标分布相较于源分布更具变异性时。
• 特征学习整体上提升了校准性能，但收益在大偏移场景中更为显著；在小偏移场景（如 MNIST 到 USPS）中，仅使用重要性加权即可优于特征学习。
• 即使在无分布偏移的情况下（如 MNIST 到 MNIST），该方法仍保持良好性能，表明其对分布稳定性的鲁棒性。
• 在 MNIST 到 SVHN 基准中观察到 ECE 估计值具有较高方差，主要源于源域判别器训练的不稳定性，进而影响重要性权重的估计。