[论文解读] Active Invariant Causal Prediction: Experiment Selection through Stability

Juan L. Gamella, Christina Heinze‐Deml|arXiv (Cornell University)|Jun 10, 2020

Machine Learning and Algorithms参考文献 39被引用 5

一句话总结

本文提出主动不变因果预测（A-ICP），一种新颖的实验选择框架，利用干预稳定性高效识别结构因果模型中响应变量的直接原因。通过刻画干预如何影响稳定集（即在不同环境中条件分布保持不变的变量子集），该方法选择具有信息量的干预，快速揭示因果父母变量，同时保持不变因果预测（ICP）的误差控制。

ABSTRACT

A fundamental difficulty of causal learning is that causal models can generally not be fully identified based on observational data only. Interventional data, that is, data originating from different experimental environments, improves identifiability. However, the improvement depends critically on the target and nature of the interventions carried out in each experiment. Since in real applications experiments tend to be costly, there is a need to perform the right interventions such that as few as possible are required. In this work we propose a new active learning (i.e. experiment selection) framework (A-ICP) based on Invariant Causal Prediction (ICP) (Peters et al., 2016). For general structural causal models, we characterize the effect of interventions on so-called stable sets, a notion introduced by (Pfister et al., 2019). We leverage these results to propose several intervention selection policies for A-ICP which quickly reveal the direct causes of a response variable in the causal graph while maintaining the error control inherent in ICP. Empirically, we analyze the performance of the proposed policies in both population and finite-regime experiments.

研究动机与目标

• 解决仅依靠观测数据不足以识别因果模型中响应变量直接原因的挑战。
• 通过战略性地选择最具信息量的实验，减少因果发现中所需昂贵干预的数量。
• 在加速收敛至真实因果结构的同时，保持不变因果预测（ICP）的统计误差控制。
• 形式化干预对干预稳定集的影响，并基于稳定性特性推导选择策略。

提出的方法

• 提出 A-ICP 框架，根据干预对干预稳定集（即在不同环境中保持响应分布不变的变量子集）的影响选择干预。
• 引入理论表征，说明对父母、子女和后代的干预如何影响集合稳定性，使用 d-分离和图论推理。
• 推导出干预选择策略，优先选择能通过消除不稳定集合而提高揭示真实直接原因可能性的变量。
• 使用变量在稳定集中出现的频率（rE(j)）作为其为响应变量祖先可能性的代理指标，其中 rE(j) ≥ 1/2 表明存在祖先关系。
• 应用不变因果预测（ICP）原则：在所有环境中保持 Y|XS 不变的集合 S 是可能的因果预测因子。
• 在总体和有限样本情形下对策略进行实证评估，比较其在最少干预下识别真实直接原因的性能。

实验结果

研究问题

• RQ1 在 ICP 背景下，对不同类型变量（父母、子女、后代）的干预如何影响集合的稳定性？
• RQ2 能否基于稳定性特性推导出最小化所需干预数量的选择策略？
• RQ3 干预稳定集能否可靠地用于推断响应变量的直接原因，同时保持统计误差控制？
• RQ4 变量在稳定集中出现的频率（rE(j)）与其在因果图中的位置（如 Y 的祖先）有何关系？
• RQ5 A-ICP 策略在有限样本设置下的实证性能与基线策略相比如何？

主要发现

• 根据引理 1，只有对 Y 的直接父母进行干预，集合才可能是干预稳定的。
• 根据引理 2，任何包含 Y 的直接干预子女的后代的集合都是不稳定的。
• 根据引理 3，空集是干预稳定的当且仅当未对 Y 的任何祖先进行干预。
• 对于任意变量 j，若 rE(j) < 1/2，则 j 不可能是 Y 的祖先，由此证明了命题 1。
• 根据命题 2，所有干预稳定集在 ICP 下都是可能的因果预测因子，确保了方法的有效性。
• 实证结果表明，A-ICP 策略在较少干预下即可快速收敛至真实直接原因，且在总体和有限样本情形下均保持了 ICP 的误差控制。