[论文解读] Learning Neural Causal Models with Active Interventions

Nino Scherrer, Olexa Bilaniuk+8 more|arXiv (Cornell University)|Sep 6, 2021

Bayesian Modeling and Causal Inference参考文献 55被引用 16

一句话总结

本文提出主动干预目标选择（Active Intervention Targeting, AIT），一种使神经因果发现模型能够自适应选择最具信息量的变量进行干预的方法，显著减少了所需干预的次数。通过基于采样DAG中干预后分布的差异性对潜在干预目标进行评分，AIT在多个基准测试中加速了收敛速度，并在离散与连续设置下均提升了结构识别性能。

ABSTRACT

Discovering causal structures from data is a challenging inference problem of fundamental importance in all areas of science. The appealing properties of neural networks have recently led to a surge of interest in differentiable neural network-based methods for learning causal structures from data. So far, differentiable causal discovery has focused on static datasets of observational or fixed interventional origin. In this work, we introduce an active intervention targeting (AIT) method which enables a quick identification of the underlying causal structure of the data-generating process. Our method significantly reduces the required number of interactions compared with random intervention targeting and is applicable for both discrete and continuous optimization formulations of learning the underlying directed acyclic graph (DAG) from data. We examine the proposed method across multiple frameworks in a wide range of settings and demonstrate superior performance on multiple benchmarks from simulated to real-world data.

研究动机与目标

• 为解决在干预成本高昂或受限的情况下，高效地从数据中识别因果结构的挑战。
• 通过整合主动干预目标选择，将可微分神经因果发现方法从以往仅限于观测数据或固定干预数据的局限中拓展出来。
• 在保持或提升结构识别准确率的同时，减少所需干预的次数。
• 在多种神经因果发现框架中（包括离散与连续优化设置）验证AIT的有效性。

提出的方法

• AIT通过基于干预后样本分布在采样DAG上的差异性评分，估计所有可能节点的干预目标得分。
• 从神经因果模型的结构参数中采样多个假设DAG，然后对每个节点施加干预，以计算相应的干预后分布。
• 通过比较不同DAG假设下干预后样本的统计量来计算差异性得分，优先选择能产生最显著差异的干预目标。
• 通过在每几个梯度步长后重新优化干预目标空间，将AIT集成到现有神经因果发现框架（如DCDI和DSDI）中。
• 该方法支持有向无环图（DAG）学习的离散与连续优化公式，具备广泛适用性。
• 采用两阶段流程：(1) 从模型的结构参数中采样DAG；(2) 通过拓扑排序与函数参数推断来评估干预目标。

实验结果

研究问题

• RQ1 主动干预目标选择能否减少在神经因果发现中识别真实因果结构所需的干预次数？
• RQ2 与随机干预目标选择相比，AIT在收敛速度和结构识别准确率方面表现如何？
• RQ3 AIT对干预目标的选择在多大程度上与节点影响或下游影响等拓扑属性相关？
• RQ4 当集成到DCDI等框架中时，AIT是否能在连续、非线性数据设置下提升样本效率？
• RQ5 干预目标空间大小（K）如何影响AIT引导下的因果发现性能与收敛性？

主要发现

• 在所有测试的目标空间大小（K ∈ {2, 4, 6, 8}）下，AIT引导的DCDI在样本复杂度上均优于原始DCDI，实现了更快的收敛速度，同时保持或改善了结构汉明距离（SHD）。
• 所选干预目标的分布与拓扑属性高度相关：具有更强下游影响的节点被更频繁地干预，而叶节点（无子节点）则显著较少被干预。
• 在所有测试的K值下，AIT引导的DCDI在SHD上均达到可比或更优的性能，证明了其性能提升的一致性。
• 该方法通过实现自适应、信息驱动的干预目标选择，减少了所需干预的次数，而非依赖随机或固定的目标选择。
• 在模拟与真实世界设置中，AIT均加速了潜在因果结构的发现，尤其在非线性、连续数据环境中表现突出。
• 消融实验表明，AIT在不同K值下性能稳定，即使在较小的目标空间大小下也未出现准确率下降。