[论文解读] Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization

Kartik Ahuja, Ethan Caballero+5 more|arXiv (Cornell University)|Jun 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用 44

一句话总结

论文表明，单独的不变性不足以实现线性分类的OOD泛化；将不变性与信息瓶颈约束相结合，在不同特征信息量下实现鲁棒的OOD泛化，理论结果与提出的IB-IRM/IB-ERM方法支持。

ABSTRACT

The invariance principle from causality is at the heart of notable approaches such as invariant risk minimization (IRM) that seek to address out-of-distribution (OOD) generalization failures. Despite the promising theory, invariance principle-based approaches fail in common classification tasks, where invariant (causal) features capture all the information about the label. Are these failures due to the methods failing to capture the invariance? Or is the invariance principle itself insufficient? To answer these questions, we revisit the fundamental assumptions in linear regression tasks, where invariance-based approaches were shown to provably generalize OOD. In contrast to the linear regression tasks, we show that for linear classification tasks we need much stronger restrictions on the distribution shifts, or otherwise OOD generalization is impossible. Furthermore, even with appropriate restrictions on distribution shifts in place, we show that the invariance principle alone is insufficient. We prove that a form of the information bottleneck constraint along with invariance helps address key failures when invariant features capture all the information about the label and also retains the existing success when they do not. We propose an approach that incorporates both of these principles and demonstrate its effectiveness in several experiments.

研究动机与目标

• 动机并分析为何仅靠不变量则在分类任务的OOD泛化中失效。
• 在线性SEM下表征OOD泛化可能或不可能的条件。
• 展示信息瓶颈约束如何补充不变性，以处理完全信息化和部分信息化的不变量特征。
• 提出一个结合不变性与信息瓶颈的实用目标函数（IB-IRM/IB-ERM），以提升OOD性能。
• 在线性单元测试和真实数据集上提供理论结果和经验演示。

提出的方法

• 用线性表示和不变量预测目标（方程式3）来形式化IRM。
• 在假设1和2下引入线性回归与线性分类分析，以对比FIIF和PIIF情景。
• 在特征支持重叠假设下推导不可能性与充分性结果（定理2和3）。
• 通过最小化表示输出的熵来引入信息瓶颈(IB)约束，以选择低熵、高信息的预测器（方程6）。
• 定义结合跨环境风险、不变性正则化与基于熵的瓶颈的IB-IRM与IB-ERM目标（定理4）。
• 提出一个实用的优化，平衡风险、不变性正则化与熵最小化（第6节中的方程）。

实验结果

研究问题

• RQ1 在何种条件下不变量能保证线性分类器的OOD泛化，何时会失败？
• RQ2 在不变量和虚假特征上的支持重叠假设如何影响ERM/IRM在OOD泛化中的表现？
• RQ3 信息瓶颈约束能否弥补线性分类中不变性失效的情况？
• RQ4 在完全信息化和部分信息化的不变量特征下，IB-IRM和IB-ERM是否能在ERM/IRM失败的地方取得成功？
• RQ5 一种实用目标，统一不变性和信息瓶颈，以提升跨数据集的OOD泛化？

主要发现

• 当不变量特征完全信息标签时，单独的不可变预测在线性分类中可能失败，除非存在强重叠条件。
• 不可能性结果表明，在没有不变量特征支持重叠的情况下，线性分类的OOD泛化不能被保证。
• 具有联合特征支持重叠的充分条件允许ERM/IRM实现OOD泛化，但若虚假特征重叠被违反，仍会失败。
• 将信息瓶颈约束与不变量结合（IB-IRM/IB-ERM）在FIIF设定下实现OOD泛化，在PIIF下与IRM结合时可提高鲁棒性。
• 在FIIF下，IB-IRM在ERM/IRM失败的地方取得成功，即使不保证虚假特征重叠也仍然有效；在PIIF下，IB-IRM可能优于ERM/IRM。
• 本文给出理论结果（定理2–4），并提出一个实用的IB-IRM/IB-ERM框架，结合两者原则来应对OOD泛化挑战。