[论文解读] DoWhy: Addressing Challenges in Expressing and Validating Causal Assumptions

Amit Sharma, Vasilis Syrgkanis+2 more|arXiv (Cornell University)|Aug 27, 2021

Advanced Causal Inference Techniques参考文献 41被引用 19

一句话总结

DoWhy 是一个因果推断框架，通过因果图形式化因果假设，并提供验证测试以评估其合理性，填补了在估计前验证建模假设这一关键空白。它通过将假设表达、识别、估计和验证整合到结构化的流水线中，实现了透明、可审计的因果分析，从而在存在未观测混杂或模型结构错误时显著提升现实应用中的可靠性。

ABSTRACT

Estimation of causal effects involves crucial assumptions about the data-generating process, such as directionality of effect, presence of instrumental variables or mediators, and whether all relevant confounders are observed. Violation of any of these assumptions leads to significant error in the effect estimate. However, unlike cross-validation for predictive models, there is no global validator method for a causal estimate. As a result, expressing different causal assumptions formally and validating them (to the extent possible) becomes critical for any analysis. We present DoWhy, a framework that allows explicit declaration of assumptions through a causal graph and provides multiple validation tests to check a subset of these assumptions. Our experience with DoWhy highlights a number of open questions for future research: developing new ways beyond causal graphs to express assumptions, the role of causal discovery in learning relevant parts of the graph, and developing validation tests that can better detect errors, both for average and conditional treatment effects. DoWhy is available at https://github.com/microsoft/dowhy.

研究动机与目标

• 解决现实世界因果推断中缺乏系统化方法来表达和验证因果假设的问题。
• 减少由于未观测混杂、错误的混杂变量/标记物分配以及模型误设导致的效果估计偏差。
• 提供一个结构化、可审计的因果分析流水线，将假设说明与估计过程分离。
• 通过在估计前验证假设，提升因果估计的可靠性。
• 识别假设获取、因果发现整合以及稳健验证测试方面的开放研究挑战。

提出的方法

• 使用因果图（DAG）作为主要形式化工具，表达关于处理变量、结果变量、混杂因子、中介变量和工具变量的假设。
• 实现四步 API：model（定义因果图）、identify（推导因果 estimand）、estimate（应用估计器）、validate（通过反事实和敏感性方法测试假设）。
• 采用反事实测试（如安慰剂干预、处理变量替换）检测模型误设和估计器偏差。
• 应用敏感性分析量化未观测混杂对估计效应的影响。
• 支持多种估计器（如 IPW、回归、TMLE），并允许在不同因果模型和识别策略之间进行比较。
• 与因果发现算法集成，从数据中推断部分图结构，同时允许领域专家迭代地进行修正和优化。

实验结果

研究问题

• RQ1 如何以正式且透明的方式表达因果假设，以支持可审计性和可复现性？
• RQ2 哪些验证测试最能有效检测建模假设中的错误，例如错误的混杂因子选择或未观测混杂？
• RQ3 如何有意义地将因果发现算法整合到因果推断流水线中，以支持假设获取？
• RQ4 领域专家在优化部分发现的因果图中扮演什么角色？系统如何支持这种人机交互？
• RQ5 是否可以设计出验证测试，以指导估计器选择并提高鲁棒性，类似于机器学习中的压力测试？

主要发现

• DoWhy 框架通过因果图显式、结构化地表达因果假设，显著提升了因果分析的透明度和可审计性。
• 反事实测试（如安慰剂处理、处理变量替换）即使在标准置信区间看似合理的情况下，也能检测出模型误设和估计器偏差。
• 敏感性分析表明，未观测混杂可能对估计结果造成严重偏差，且当对混杂因子方向或强度的假设已知时，可量化该偏差的大小。
• 该框架表明，即使估计方法具有强大的理论保证，若底层因果模型错误，仍可能产生误导性结果，凸显了估计前验证的必要性。
• 验证结果在不同数据集间存在差异，若在多个观察性数据集中仅有一个数据集的反事实测试失败，可能提示数据质量或模型假设存在问题，因此需要谨慎解读。
• 因果发现与因果推断的集成仍受限于不可验证的假设（如忠实性假设、马尔可夫条件），且发现过程中的错误可能传播至下游估计，因此需要引入专家参与的迭代优化。