[论文解读] From Dependence to Causation

David López-Paz|arXiv (Cornell University)|Jul 12, 2016

Bayesian Modeling and Causal Inference参考文献 20被引用 13

一句话总结

本文提出了一种从依赖数据中学习的框架，通过在再生核希尔伯特空间（RKHS）中制定正则化风险最小化问题，其中正则化项是假设函数范数的严格递增函数。关键结果是，任何正则化风险的最小化器均满足表示定理（representer theorem），确保最优解可表示为以训练输入为中心的核函数的有限线性组合，从而在依赖性假设下实现可计算性与泛化保证。

ABSTRACT

Machine learning is the science of discovering statistical dependencies in data, and the use of those dependencies to perform predictions. During the last decade, machine learning has made spectacular progress, surpassing human performance in complex tasks such as object recognition, car driving, and computer gaming. However, the central role of prediction in machine learning avoids progress towards general-purpose artificial intelligence. As one way forward, we argue that causal inference is a fundamental component of human intelligence, yet ignored by learning algorithms. Causal inference is the problem of uncovering the cause-effect relationships between the variables of a data generating system. Causal structures provide understanding about how these systems behave under changing, unseen environments. In turn, knowledge about these causal dynamics allows to answer "what if" questions, describing the potential responses of the system under hypothetical manipulations and interventions. Thus, understanding cause and effect is one step from machine learning towards machine reasoning and machine intelligence. But, currently available causal inference algorithms operate in specific regimes, and rely on assumptions that are difficult to verify in practice. This thesis advances the art of causal inference in three different ways. First, we develop a framework for the study of statistical dependence based on copulas and random features. Second, we build on this framework to interpret the problem of causal inference as the task of distribution classification, yielding a family of novel causal inference algorithms. Third, we discover causal structures in convolutional neural network features using our algorithms. The algorithms presented in this thesis are scalable, exhibit strong theoretical guarantees, and achieve state-of-the-art performance in a variety of real-world benchmarks.

研究动机与目标

• 解决机器学习中依赖数据学习的挑战，其中独立同分布（i.i.d.）假设不成立。
• 开发一种通过正则化风险函数（含范数惩罚项）引入依赖性的泛化框架。
• 通过证明最小化器的表示定理，为在依赖性条件下于RKHS中学习建立理论基础。
• 确保最优假设可表示为核函数的有限线性组合，从而保证计算上的可行性。

提出的方法

• 在再生核希尔伯特空间（RKHS）中，通过假设函数 f 的范数的严格递增函数 g，制定正则化风险最小化问题。
• 定义一个风险函数 R，将输入-输出对与预测映射到扩展实数，以捕捉训练数据上的损失。
• 引入正则化项 g(‖f‖) 以控制模型复杂度，并在依赖性条件下确保稳定性。
• 证明正则化风险的任意最小化器 f⋆ 均可表示为 f(⋅) = Σᵢ₌₁ⁿ αᵢk(xᵢ, ⋅)，其中 αᵢ ∈ ℝ，依据表示定理。
• 利用RKHS的结构与 g 的严格单调性，在较弱条件下确保解的存在性与唯一性。
• 证明解在计算上是可行的，因其仅依赖于训练点处的核函数评估。

实验结果

研究问题

• RQ1 能否为依赖数据开发一种正则化风险最小化框架，使其泛化能力超越 i.i.d. 假设？
• RQ2 RKHS 中正则化风险的最小化器是否可表示为核函数的有限维组合？
• RQ3 严格递增函数 g(‖f‖) 的选择如何影响学习模型的泛化性与稳定性？
• RQ4 在依赖性条件下，使用核方法可获得哪些理论保证？

主要发现

• RKHS 中的最优假设 f⋆ 可表示为以训练输入为中心的核函数的有限线性组合，即 f(⋅) = Σᵢ₌₁ⁿ αᵢk(xᵢ, ⋅)。
• 当正则化项 g(‖f‖) 为严格递增函数时，表示定理成立，确保解的定义良好且唯一。
• 该框架通过将依赖性嵌入风险函数 R 中，实现了对依赖数据的学习，而无需依赖 i.i.d. 采样。
• 解在计算上是可行的，因其仅依赖于训练点处的核函数评估，支持实际实现。
• 理论框架支持在依赖性条件下的泛化界与稳定性分析，扩展了经典核方法。
• 该结果将经典表示定理推广至显式通过风险函数建模数据依赖性的场景。