[论文解读] Causal models for dynamical systems

Jonas Peters, Sebastian Bauer+1 more|arXiv (Cornell University)|Jan 17, 2020

Quantum Mechanics and Applications被引用 5

一句话总结

该论文通过微分方程将结构因果模型扩展至连续时间动力系统，提出两类因果动力学模型：一种带有测量噪声，另一种带有驱动噪声。该方法可直接在微分方程上进行干预建模，通过不变性原理实现在时变系统中的因果推断，适用于结构学习及跨实验条件的泛化。

ABSTRACT

A probabilistic model describes a system in its observational state. In many situations, however, we are interested in the system's response under interventions. The class of structural causal models provides a language that allows us to model the behaviour under interventions. It can been taken as a starting point to answer a plethora of causal questions, including the identification of causal effects or causal structure learning. In this chapter, we provide a natural and straight-forward extension of this concept to dynamical systems, focusing on continuous time models. In particular, we introduce two types of causal kinetic models that differ in how the randomness enters into the model: it may either be considered as observational noise or as systematic driving noise. In both cases, we define interventions and therefore provide a possible starting point for causal inference. In this sense, the book chapter provides more questions than answers. The focus of the proposed causal kinetic models lies on the dynamics themselves rather than corresponding stationary distributions, for example. We believe that this is beneficial when the aim is to model the full time evolution of the system and data are measured at different time points. Under this focus, it is natural to consider interventions in the differential equations themselves.

研究动机与目标

• 将结构因果模型（SCMs）扩展至由微分方程控制的连续时间动力系统。
• 解决在随时间演化的系统中建模干预的挑战，特别是当数据在多个时间点被采集时。
• 开发保持模块化与干预下不变性的因果动力学模型，以实现在不同实验条件下的泛化。
• 为动力系统中的因果推断提供正式框架，重点关注动态行为而非平稳分布。
• 探讨在独立同分布（i.i.d.）因果推断中核心的不变性原理，如何适应于时变过程，以改进模型选择与泛化能力。

提出的方法

• 提出因果动力学模型的两种变体：一种带有测量噪声（确定性常微分方程搭配带噪声的观测），另一种带有驱动噪声（随机微分方程）。
• 将干预定义为对微分方程的直接修改，例如将某一变量的导数设为新函数，从而保持SCM的模块化结构。
• 采用Pearl提出的$do$-干预形式化方法，定义连续时间下的干预分布，确保与因果语义的一致性。
• 应用不变性原理识别时间序列数据中的因果预测变量，其中同一结构方程在不同实验条件下保持有效。
• 采用一种模型排序程序，在多个实验环境中权衡预测能力与不变性，以识别稳健的因果结构。
• 利用干预对微分方程的影响会改变整个时间轨迹的特性，从而通过相对温和的干预获得丰富的信息增益。

实验结果

研究问题

• RQ1 如何将结构因果模型扩展至由微分方程控制的连续时间动力系统？
• RQ2 在由常微分方程描述的系统中，干预的恰当形式化是什么？
• RQ3 如何利用不同实验条件下的一致性来识别时变系统中的因果预测变量？
• RQ4 微分方程系统的模块化结构对因果发现与泛化有何影响？
• RQ5 动力系统特性（如轨迹层面的影响）相较于独立同分布设定，如何改变因果推断的假设与挑战？

主要发现

• 无论带有测量噪声还是驱动噪声，因果动力学模型都为直接在控制系统时间演化的微分方程上建模干预提供了原则性框架。
• 对微分方程结构的干预会导致整个时间轨迹的变化，使得即使较温和的干预也能为因果结构发现提供丰富信息。
• 在不同实验条件（如不同干预设置）下保持不变的结构方程，可用于识别某一变量的正确因果预测变量。
• 所提出的兼顾预测能力与不变性的结构学习方法，相较于标准的i.i.d.方法，在未见实验设置下具有更好的泛化能力。
• 微分方程系统的模块化特性确保干预仅影响特定组件，从而保持因果模型中核心的模块化原则。
• 该框架支持在数据于多个时间点采集且实验条件多变的系统中进行因果发现，例如代谢网络实验。