[论文解读] An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization

Elan Rosenfeld, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Feb 25, 2021

Machine Learning and Algorithms参考文献 34被引用 6

一句话总结

本文提出了一种在线学习框架，以形式化分析域泛化中的内插与外推，表明尽管统计复杂度相似，外推在计算上远比内插困难。本文证明，经验风险最小化（ERM）及其带噪声变体在两种任务中均达到极小极大最优，挑战了 ERM 在外推中失效的普遍看法。

ABSTRACT

A popular assumption for out-of-distribution generalization is that the training data comprises sub-datasets, each drawn from a distinct distribution; the goal is then to "interpolate" these distributions and "extrapolate" beyond them -- this objective is broadly known as domain generalization. A common belief is that ERM can interpolate but not extrapolate and that the latter is considerably more difficult, but these claims are vague and lack formal justification. In this work, we recast generalization over sub-groups as an online game between a player minimizing risk and an adversary presenting new test distributions. Under an existing notion of inter- and extrapolation based on reweighting of sub-group likelihoods, we rigorously demonstrate that extrapolation is computationally much harder than interpolation, though their statistical complexity is not significantly different. Furthermore, we show that ERM -- or a noisy variant -- is provably minimax-optimal for both tasks. Our framework presents a new avenue for the formal analysis of domain generalization algorithms which may be of independent interest.

研究动机与目标

• 为了形式化分析域泛化中内插与外推的计算复杂度与统计复杂度。
• 通过提供 ERM 最优性的严格理论依据，挑战 ERM 在外推中失效的普遍信念。
• 提出一种在线学习框架，作为评估分布外泛化性能的更细致的替代方案，以取代一次性极小极大博弈。
• 研究似然重加权是否是建模训练域之外外推的合适形式化方法。
• 探讨环境损失函数的几何结构如何影响泛化性能。

提出的方法

• 将域泛化重新表述为学习者最小化风险与对手选择测试分布之间的在线博弈。
• 将内插建模为训练环境的凸组合，将外推建模为超出训练分布凸包的似然重加权。
• 在在线设置中使用后悔最小化分析算法性能，替代最坏情况的一次性极小极大博弈。
• 应用在线学习理论中的工具，包括后悔界与极小极大最优性，推导理论保证。
• 证明在所提出的框架下，ERM 及其带噪声变体在内插与外推中均达到极小极大最优。
• 分析损失函数几何结构的作用，表明其对泛化性能具有决定性影响，提示通过表示学习可能实现进一步改进。

实验结果

研究问题

• RQ1 是否存在一个正式框架，能够区分域泛化中内插与外推的计算难度？
• RQ2 尽管普遍认为 ERM 在外推中会失效，为何其在实践中表现良好？
• RQ3 在线学习能否提供比最坏情况一次性极小极大博弈更细致的 OOD 泛化分析？
• RQ4 似然重加权是否是建模训练域之外外推的合适形式化方法？
• RQ5 环境损失函数的几何结构如何影响域泛化算法的泛化性能？

主要发现

• 外推在计算上远比内插困难，尽管两者的统计复杂度相似，但计算复杂度存在指数级差距。
• 在所提出的在线框架下，经验风险最小化（ERM）及其带噪声变体在内插与外推中均可被严格证明为极小极大最优。
• 普遍认为 ERM 无法外推的观点在形式上并不成立；ERM 在外推设定下依然保持最优。
• 当前用于建模分布偏移的似然重加权模型可能并不适用于一般性外推，提示需要重新审视现有形式化方法。
• 环境损失函数的几何结构在泛化中起着关键作用，表明通过表示学习可能进一步提升性能。
• 所提出的在线博弈框架提供了比最坏情况评估更细致的性能信号，更真实地反映实际预期性能。