[论文解读] An Analysis of the Adaptation Speed of Causal Models

Rémi Le Priol, Reza Babanezhad Harikandeh+2 more|arXiv (Cornell University)|May 18, 2020

Bayesian Modeling and Causal Inference参考文献 39被引用 5

一句话总结

本文通过参数空间距离作为适应效率的代理指标，分析了结构因果模型（SCM）在干预下的适应速度。结果表明，当干预作用于原因变量时，真实因果模型适应得更快；然而在干预效应变量时，非因果模型反而可能表现更优，这挑战了真实因果模型在所有情况下适应速度均最快这一假设。

ABSTRACT

Consider a collection of datasets generated by unknown interventions on an unknown structural causal model $G$. Recently, Bengio et al. (2020) conjectured that among all candidate models, $G$ is the fastest to adapt from one dataset to another, along with promising experiments. Indeed, intuitively $G$ has less mechanisms to adapt, but this justification is incomplete. Our contribution is a more thorough analysis of this hypothesis. We investigate the adaptation speed of cause-effect SCMs. Using convergence rates from stochastic optimization, we justify that a relevant proxy for adaptation speed is distance in parameter space after intervention. Applying this proxy to categorical and normal cause-effect models, we show two results. When the intervention is on the cause variable, the SCM with the correct causal direction is advantaged by a large factor. When the intervention is on the effect variable, we characterize the relative adaptation speed. Surprisingly, we find situations where the anticausal model is advantaged, falsifying the initial hypothesis. Code to reproduce experiments is available at this https URL

研究动机与目标

• 严格分析真实结构因果模型（SCM）是否在所有替代模型中对干预的适应速度最快。
• 研究因果模型与非因果模型在干预后表现出更快适应速度的条件。
• 挑战Bengio等人（2020年）提出的猜想，即真实SCM在所有情况下都是适应速度最快的模型。
• 基于随机优化中的收敛速率，提供形式化依据。

提出的方法

• 利用随机优化中的收敛速率，定义参数空间距离作为适应速度的代理指标。
• 在受控干预下，将该代理指标应用于分类和正态分布的原因-结果SCM。
• 比较在原因变量和结果变量上施加干预时，真实因果模型与其非因果对应模型的适应速度。
• 通过数学分析，刻画不同干预模式下相对适应性能的特征。
• 推导出非因果模型在适应速度上优于因果模型的条件。

实验结果

研究问题

• RQ1 正如Bengio等人（2020年）所猜想的那样，真实因果模型是否在所有干预后都适应得最快？
• RQ2 当干预作用于原因变量时，因果模型与非因果模型的适应速度如何比较？
• RQ3 当干预作用于结果变量时，适应速度有何差异？
• RQ4 在何种条件下，非因果模型可比真实因果模型适应得更快？
• RQ5 何种度量可作为SCM中适应速度的有效代理指标？

主要发现

• 当对原因变量施加干预时，真实因果模型的适应速度显著快于非因果模型，具有明显优势。
• 当对结果变量施加干预时，相对适应速度取决于模型参数，可能更有利于非因果模型。
• 存在某些情形下，非因果模型在适应速度上优于真实因果模型，从而否定了初始假设。
• 干预后参数空间中的距离可作为SCM中适应速度的有效且有用的代理指标。
• 分析表明，因果方向本身并不能保证更快适应；干预目标和模型结构是关键因素。