[论文解读] ID and OOD Performance Are Sometimes Inversely Correlated on Real-world Datasets

Damien Teney, Lin, Yong+2 more|arXiv (Cornell University)|Sep 1, 2022

Machine Learning and Data Classification被引用 7

一句话总结

本文表明，在真实世界数据集中，分布内（ID）性能与分布外（OOD）性能之间可能存在负相关关系，这挑战了人们普遍认为二者呈正相关的假设。通过实证分析与理论建模，本文揭示了仅优化ID性能的模型在OOD泛化上可能表现欠佳，尤其当虚假特征主导训练分布时更为明显。

ABSTRACT

Several studies have compared the in-distribution (ID) and out-of-distribution (OOD) performance of models in computer vision and NLP. They report a frequent positive correlation and some surprisingly never even observe an inverse correlation indicative of a necessary trade-off. The possibility of inverse patterns is important to determine whether ID performance can serve as a proxy for OOD generalization capabilities. This paper shows with multiple datasets that inverse correlations between ID and OOD performance do happen in real-world data - not only in theoretical worst-case settings. We also explain theoretically how these cases can arise even in a minimal linear setting, and why past studies could miss such cases due to a biased selection of models. Our observations lead to recommendations that contradict those found in much of the current literature. - High OOD performance sometimes requires trading off ID performance. - Focusing on ID performance alone may not lead to optimal OOD performance. It may produce diminishing (eventually negative) returns in OOD performance. - In these cases, studies on OOD generalization that use ID performance for model selection (a common recommended practice) will necessarily miss the best-performing models, making these studies blind to a whole range of phenomena.

研究动机与目标

• 探究在真实世界数据集中，ID与OOD性能之间是否存在与以往假设相反的负相关关系。
• 解释为何以往研究可能因模型选择偏差而系统性地忽略了此类负相关模式。
• 提供理论与实证证据，表明负相关关系源于模型误设及对虚假特征的依赖。
• 挑战在模型选择中将ID性能作为OOD泛化代理的普遍做法。
• 提出改进的OOD泛化研究方法论，以考虑ID与OOD性能之间潜在的权衡。

提出的方法

• 在多个真实世界数据集（包括Camelyon17及其他来自OOD基准文献的数据集）上实证评估了ID与OOD性能。
• 通过调整训练轮数与随机种子，评估不同优化轨迹下的性能变化。
• 在ERM目标中引入多样性诱导正则化项，以生成更广泛的模型解集，从而揭示负相关关系。
• 构建一个最小化的理论线性模型，以说明当鲁棒特征与虚假特征共存时，负相关关系如何产生。
• 分析分布偏移程度对ID/OOD性能模式的影响，表明负相关关系仅在特定偏移条件下出现。
• 评估现有OOD基准测试实践的局限性，特别是那些因ID性能不佳而剔除模型的做法。

实验结果

研究问题

• RQ1 在真实世界数据集中，是否能观察到ID与OOD性能之间的负相关关系，而不仅限于理论上的最坏情况？
• RQ2 尽管负相关在理论上是可能的，为何以往研究未能观察到？
• RQ3 其潜在机制是什么——特别是，模型误设如何导致ID/OOD性能模式的负相关？
• RQ4 不同幅度的分布偏移如何影响ID与OOD性能之间的关系？
• RQ5 常见的OOD基准测试实践（如仅选择ID性能最优的模型）在多大程度上会掩盖最优OOD性能模型的发现？

主要发现

• 在Camelyon17数据集及附录中分析的另外5个数据集中的4个中，实证观察到了ID与OOD性能之间的负相关关系。
• 当使用多样性诱导正则化训练模型时，负相关关系更为显著，表明对解空间的探索揭示了隐藏的权衡。
• 理论分析表明，当数据中同时存在鲁棒特征与虚假特征时，负相关关系会因ERM目标倾向于选择虚假特征而产生，从而损害OOD泛化能力。
• 以往研究可能因模型选择偏差（特别是剔除ID性能不佳的模型）而错失负相关关系，从而排除了潜在OOD性能优异的模型。
• 本研究表明，仅以ID性能作为模型选择标准，可能导致OOD性能的收益递减，甚至出现负收益。
• 研究结果否定了文献中普遍推荐将ID性能作为OOD泛化可靠代理的做法，尤其是在虚假相关性较强的情境下。