[论文解读] Estimating the probabilities of causation via deep monotonic twin networks.

Athanasios Vlontzos, Bernhard Kainz+1 more|arXiv (Cornell University)|Sep 4, 2021

Explainable Artificial Intelligence (XAI)参考文献 34被引用 5

一句话总结

本文提出一种基于单调孪生网络的深度学习方法，用于估计因果关系的反事实概率，利用孪生网络的图结构实现可扩展且可识别的推理。通过在训练过程中施加可识别性约束，该方法能够在合成数据和真实世界数据上准确估计必要因果与充分因果的概率。

ABSTRACT

There has been much recent work using machine learning to answer causal queries. Most focus on interventional queries, such as the conditional average treatment effect. However, as noted by Pearl, interventional queries only form part of a larger hierarchy of causal queries, with counterfactuals sitting at the top. Despite this, our community has not fully succeeded in adapting machine learning tools to answer counterfactual queries. This work addresses this challenge by showing how to implement twin network counterfactual inference -- an alternative to abduction, action, & prediction counterfactual inference -- with deep learning to estimate counterfactual queries. We show how the graphical nature of twin networks makes them particularly amenable to deep learning, yielding simple neural network architectures that, when trained, are capable of counterfactual inference. Importantly, we show how to enforce known identifiability constraints during training, ensuring the answer to each counterfactual query is uniquely determined. We demonstrate our approach by using it to accurately estimate the probabilities of causation -- important counterfactual queries that quantify the degree to which one event was a necessary or sufficient cause of another -- on both synthetic and real data.

研究动机与目标

• 为填补机器学习在反事实查询应用上的空白，而反事实查询位于Pearl因果层级的顶端。
• 实现对因果概率的准确估计——这是量化必要因果与充分因果的关键反事实查询。
• 将深度学习适配至基于孪生网络的反事实推理，同时施加已知的可识别性约束。
• 开发一种既简单又能够产生唯一确定的反事实答案的神经架构。

提出的方法

• 该方法采用孪生网络架构，其中一个网络表示观测世界，另一个表示反事实世界，通过共享参数来强制结构一致性。
• 采用深度神经网络来建模孪生系统的结构方程，从而实现在观测数据上的端到端训练。
• 对网络输出施加单调性约束，以确保与已知因果顺序的一致性，并提升泛化能力。
• 在训练过程中显式施加可识别性约束，以保证每个反事实查询都有唯一解。
• 训练目标被设计为在保持孪生系统间结构约束的同时，最小化对观测数据的预测误差。

实验结果

研究问题

• RQ1 能否有效利用深度学习来估计反事实因果概率，同时确保可识别性？
• RQ2 如何利用孪生网络的图结构来设计简单、可扩展的神经架构以实现反事实推理？
• RQ3 单调性与可识别性约束在多大程度上能提升反事实估计的可靠性与唯一性？
• RQ4 该方法在合成数据和真实世界数据集上估计必要因果与充分因果时表现如何？

主要发现

• 所提出的方法在合成数据上成功实现了高精度的因果概率估计，正确识别出必要因果与充分因果。
• 由于在训练过程中强制施加了可识别性约束，该模型能为反事实查询保持唯一解。
• 孪生网络架构实现了高效且可扩展的反事实推理，无需显式执行反事实推断中的“反事实归因”、“干预”或“预测”步骤。
• 该方法在真实世界数据上泛化良好，在真实观测条件下表现出稳健的因果概率估计性能。