[论文解读] Estimating Generalization under Distribution Shifts via Domain-Invariant Representations

Ching-Yao Chuang, Antonio Torralba+1 more|arXiv (Cornell University)|Jul 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用 12

一句话总结

本文提出一种方法，通过使用域不变表示（DIRs）作为目标性能的代理标签，来估计在分布偏移下的模型泛化能力。通过训练多个与目标模型相悖的DIR模型，该方法在无需标签的情况下准确估计目标风险，在视觉和自然语言处理基准测试中，均在误差估计和逐样本误差检测方面优于现有方法。

ABSTRACT

When machine learning models are deployed on a test distribution different from the training distribution, they can perform poorly, but overestimate their performance. In this work, we aim to better estimate a model's performance under distribution shift, without supervision. To do so, we use a set of domain-invariant predictors as a proxy for the unknown, true target labels. Since the error of the resulting risk estimate depends on the target risk of the proxy model, we study generalization of domain-invariant representations and show that the complexity of the latent representation has a significant influence on the target risk. Empirically, our approach (1) enables self-tuning of domain adaptation models, and (2) accurately estimates the target error of given models under distribution shift. Other applications include model selection, deciding early stopping and error detection.

研究动机与目标

• 在无法访问目标标签的情况下，估计模型在分布偏移下的泛化能力。
• 开发一种利用域不变预测器作为代理标签以估计目标风险的方法。
• 分析表示复杂度在域不变表示中对目标泛化的影响。
• 通过风险估计实现域自适应模型的自调参。
• 在分布偏移下支持模型选择、早停和误差检测。

提出的方法

• 使用一组域不变表示（DIRs）作为未知真实目标标签的代理标签。
• 训练多个DIR模型（检查模型）以最大化其与目标模型的分歧，使用域不变训练目标（如域对抗学习或MMD）。
• 通过测量模型相对于检查模型集成的误差，来估计目标模型的风险。
• 将目标模型与检查模型之间的分歧作为潜在高目标风险的信号。
• 应用该框架以估计平均风险和逐样本误差，从而实现对每个预测的可靠性评估。
• 通过基于目标风险估计选择最优表示复杂度，实现DIR模型的自调参。

实验结果

研究问题

• RQ1 域不变表示能否作为可靠代理标签，用于估计分布偏移下的目标风险？
• RQ2 表示编码器的复杂度如何影响域不变模型中的目标泛化？
• RQ3 所提方法能否在估计目标误差方面优于现有的无监督风险估计技术？
• RQ4 该方法在检测分布偏移下的逐样本预测误差方面能达到何种程度？
• RQ5 风险估计框架能否实现域自适应模型的自调参？

主要发现

• 在DIR-Object任务上，该方法的平均绝对误差为0.021，显著优于基线方法（Ben-David等人为0.114，置信度分数为0.088）。
• 在SL-Object任务上，该方法预测与真实目标风险之间的皮尔逊相关系数达到0.995，优于Ben-David等人的0.932和置信度分数的0.459。
• 在逐样本误差检测方面，该方法在数字分类任务上F1得分为0.980，在物体分类任务上为0.928，表现出对误预测的高可靠性识别能力。
• 表示编码器的复杂度对目标泛化的影响力强于预测器复杂度，凸显了域自适应中关键的设计选择。
• 该方法通过基于目标风险估计选择最优表示复杂度，实现了DIR模型的自调参，从而提升了目标泛化性能。
• 该框架成功估计了非自适应监督模型和自适应域不变模型的目标风险，展现出广泛的适用性。