[论文解读] Generalization in anti-causal learning

Niki Kilbertus, Giambattista Parascandolo+1 more|arXiv (Cornell University)|Dec 3, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用 21

一句话总结

本文主张，在反因果学习（即从结果推断原因）中实现强泛化能力，需要访问因果模型，而不仅仅是反因果模型。文章提出从直接推理向因果模型的搜索与验证范式转变，从而实现对独立同分布（i.i.d.）数据分布之外的稳健外推，对对抗鲁棒性、表征解耦以及深度学习中的泛化具有重要意义。

ABSTRACT

The ability to learn and act in novel situations is still a prerogative of animate intelligence, as current machine learning methods mostly fail when moving beyond the standard i.i.d. setting. What is the reason for this discrepancy? Most machine learning tasks are anti-causal, i.e., we infer causes (labels) from effects (observations). Typically, in supervised learning we build systems that try to directly invert causal mechanisms. Instead, in this paper we argue that strong generalization capabilities crucially hinge on searching and validating meaningful hypotheses, requiring access to a causal model. In such a framework, we want to find a cause that leads to the observed effect. Anti-causal models are used to drive this search, but a causal model is required for validation. We investigate the fundamental differences between causal and anti-causal tasks, discuss implications for topics ranging from adversarial attacks to disentangling factors of variation, and provide extensive evidence from the literature to substantiate our view. We advocate for incorporating causal models in supervised learning to shift the paradigm from inference only, to search and validation.

研究动机与目标

• 解决反因果学习在泛化能力上受限于独立同分布（i.i.d.）数据分布的根本性局限。
• 论证当前监督学习方法在协变量偏移或领域偏移下失效，原因在于其依赖直接推理而缺乏因果结构。
• 证明因果模型在验证假设和实现反因果任务中强泛化能力方面至关重要。
• 将认知科学、物理学与机器学习的洞见统一于因果生成模型在稳健推理中的作用。
• 倡导机器学习系统中从纯推理向假设搜索与因果验证的范式转变。

提出的方法

• 区分因果学习（从原因预测结果）与反因果学习（从结果推断原因），并强调二者在泛化特性上的差异。
• 提出反因果模型用于生成假设，而因果模型则用于验证与外推。
• 引入“搜索与验证”作为一般性原则：通过反因果模型生成候选原因，再利用因果模型进行验证。
• 类比科学发现过程：提出一个理论（假设），通过因果模型计算其后果，再与数据对比。
• 引用视觉领域（逆向图形）、机器人学（模拟器中的规划）以及AlphaGo（由神经网络引导的游戏状态搜索）中的实例。
• 利用因果与机制的独立性原则（ICM）来证明因果模型在泛化中的鲁棒性。

实验结果

研究问题

• RQ1 为何当前的反因果学习方法在分布偏移下无法泛化，尽管在独立同分布（i.i.i.）设置下表现优异？
• RQ2 因果模型如何提升反因果任务（如图像生成、表征解耦或对抗鲁棒性）中的泛化能力？
• RQ3 假设搜索与验证在实现超越插值的强泛化中起到何种作用？
• RQ4 人类认知过程在哪些方面与所提出的搜索与验证框架在机器学习中的应用相似？
• RQ5 现有深度学习架构如何通过因果模型搜索与反因果推理的视角重新解释？

主要发现

• 在缺乏因果模型访问的情况下，反因果学习中的强泛化能力在根本上受到限制，因为逆映射通常病态或不唯一。
• 因果模型通过验证反因果模型生成的假设，实现可靠的外推，从而克服直接推理的脆弱性。
• 来自逆向图形、基于模拟的规划（如MuJoCo）以及AlphaGo的实证证据表明，对因果模型的搜索可带来在新环境中的稳健性能。
• 科学方法——猜测、计算、对比——与所提出的搜索与验证框架相吻合，表明其在理论与实践上的可行性。
• 因果模型在应对对抗样本与解耦表征学习等挑战中至关重要，这些挑战要求在训练数据之外实现泛化。
• 将因果模型整合到反因果学习中，实现了从插值到假设驱动推理的范式转变，从而在分布偏移下实现鲁棒性。