[论文解读] Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization

Elan Rosenfeld, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Feb 14, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文挑战了深度学习中分布外（OOD）泛化失败源于特征学习不佳的假设，主张瓶颈实际上在于现有特征上的鲁棒线性回归。本文提出领域自适应回归（DARE），一种凸的、领域特定的调整方法，通过协方差白化在规范潜在空间中对齐领域，并学习一个极小化最大风险的线性预测器，在OOD基准上实现了最先进性能，且微调需求极低。

ABSTRACT

A common explanation for the failure of deep networks to generalize out-of-distribution is that they fail to recover the "correct" features. We challenge this notion with a simple experiment which suggests that ERM already learns sufficient features and that the current bottleneck is not feature learning, but robust regression. Our findings also imply that given a small amount of data from the target distribution, retraining only the last linear layer will give excellent performance. We therefore argue that devising simpler methods for learning predictors on existing features is a promising direction for future research. Towards this end, we introduce Domain-Adjusted Regression (DARE), a convex objective for learning a linear predictor that is provably robust under a new model of distribution shift. Rather than learning one function, DARE performs a domain-specific adjustment to unify the domains in a canonical latent space and learns to predict in this space. Under a natural model, we prove that the DARE solution is the minimax-optimal predictor for a constrained set of test distributions. Further, we provide the first finite-environment convergence guarantee to the minimax risk, improving over existing analyses which only yield minimax predictors after an environment threshold. Evaluated on finetuned features, we find that DARE compares favorably to prior methods, consistently achieving equal or better performance.

研究动机与目标

• 探究OOD泛化的主要瓶颈是特征学习，还是现有特征上的鲁棒线性预测。
• 通过测试仅在目标领域数据上微调最终线性层是否能获得更优性能，挑战当前认为ERM失败是由于学习虚假相关性的主流观点。
• 为OOD泛化开发一种更简单、凸的替代复杂不变表示学习方法的方案。
• 在新的分布偏移模型下，为所提方法提供极小化最大风险的理论保证。
• 通过实证验证，当与鲁棒线性回归结合时，ERM特征本身已足够实现强大的OOD性能。

提出的方法

• DARE通过协方差白化在规范潜在空间中对齐领域，对每个领域进行特定调整，学习线性预测器。
• 它使用训练时间领域特定调整的平均值来估计测试时间的协方差调整，从而在无需测试数据参与训练的情况下实现鲁棒泛化。
• 该方法采用包含正则化项的凸优化目标，以强制跨领域不变性，提升鲁棒性。
• 通过调整领域特定的协方差偏移，对齐各领域的最优分类器，提高领域特定最优决策边界的余弦相似度。
• 该方法避免丢弃领域特定子空间（与不变风险最小化不同），从而保留更多预测信息。
• 该方法提供了对极小化最大风险的有限环境收敛保证，优于以往仅在环境阈值后给出极小化最大预测器的分析。

实验结果

研究问题

• RQ1 当特征固定时，仅在目标领域数据上微调最后的线性层是否能显著提升OOD泛化性能？
• RQ2 在分布偏移下，简单凸线性预测器能否超越复杂的端到端不变表示学习方法？
• RQ3 ERM在OOD泛化中的失败是由于特征学习不佳，还是由于这些特征上的线性预测不理想？
• RQ4 通过协方差白化进行领域特定调整，是否能有效对齐各领域间的最优分类器？
• RQ5 在新的分布偏移模型下，能否为极小化最大风险预测器建立有限环境收敛保证？

主要发现

• 仅通过在目标领域数据上微调最后线性层（即‘作弊’）即可实现与端到端训练整个网络相当或更优的性能，表明ERM特征本身已高度有效。
• 当在微调后的ERM特征上使用线性分类器时，标准ERM与最佳已知方法之间的性能差距缩小了10%–15%，表明特征学习并非主要瓶颈。
• DARE在所有评估基准（Office-Home、PACS、VLCS）上均达到最先进性能，表现稳定且持续优于或匹配先前方法。
• 估计测试时间协方差调整的归一化误差始终较低（例如，大多数划分中低于0.05），验证了平均估计策略的鲁棒性。
• 领域调整后，各领域独立最优分类器之间的余弦相似度显著提升（例如，在VLCS上从0.200提升至0.598），证实了决策边界的有效对齐。
• DARE中的正则化项至关重要：移除后性能下降，且方法在广泛正则化参数范围内保持鲁棒，表明优化过程稳定。