[论文解读] DoWhy: An End-to-End Library for Causal Inference

Amit Sharma, Emre Kıcıman|arXiv (Cornell University)|Nov 9, 2020

Advanced Causal Inference Techniques参考文献 5被引用 15

一句话总结

DoWhy 是一个开源的、端到端的 Python 库，用于因果推断，它将因果分析系统化为四个统一的步骤：模型、识别、估计和反驳。它使非专家能够使用图形模型和 do-演算构建因果模型，通过多种统计方法（包括与 EconML 和 CausalML 的集成）估计因果效应，并通过反驳方法自动测试稳健性，显著提高了数据科学中因果推断的可靠性与可及性。

ABSTRACT

In addition to efficient statistical estimators of a treatment's effect, successful application of causal inference requires specifying assumptions about the mechanisms underlying observed data and testing whether they are valid, and to what extent. However, most libraries for causal inference focus only on the task of providing powerful statistical estimators. We describe DoWhy, an open-source Python library that is built with causal assumptions as its first-class citizens, based on the formal framework of causal graphs to specify and test causal assumptions. DoWhy presents an API for the four steps common to any causal analysis---1) modeling the data using a causal graph and structural assumptions, 2) identifying whether the desired effect is estimable under the causal model, 3) estimating the effect using statistical estimators, and finally 4) refuting the obtained estimate through robustness checks and sensitivity analyses. In particular, DoWhy implements a number of robustness checks including placebo tests, bootstrap tests, and tests for unoberved confounding. DoWhy is an extensible library that supports interoperability with other implementations, such as EconML and CausalML for the the estimation step. The library is available at https://github.com/microsoft/dowhy

研究动机与目标

• 为数据科学中因果推断缺乏系统化、用户友好的框架，特别是针对不熟悉因果建模的实践者，提供解决方案。
• 通过基于因果图的方法，使建模假设显式化且可测试，降低因果推断的入门门槛。
• 提供统一接口，整合图形模型与潜在结果框架，支持多种估计方法。
• 通过反驳技术自动化稳健性检验，使用户能够验证因果估计是否经受住未经验证假设的考验。
• 通过提供可扩展、互操作且开源的工具，弥合理论因果推断与实际应用之间的差距。

提出的方法

• 该库围绕四个关键步骤构建：模型（将先验知识形式化为因果图）、识别（使用 do-演算和基于图的准则寻找可估计量）、估计（应用包括 EconML 和 CausalML 在内的统计估计器）、反驳（通过多种反驳方法测试稳健性）。
• 它使用图形模型和 do-演算来编码和验证因果假设，确保所有建模决策都显式且可分析。
• 识别步骤支持多种准则：后门准则、前门准则、工具变量和基于中介的可估计量。
• 估计方法结合了参数与非参数方法，包括倾向得分分层、逆概率加权，以及基于机器学习的估计器（如通过 EconML 实现的双重机器学习）。
• 反驳方法包括安慰剂处理、虚拟结果、随机共同原因、未观测混杂因子模拟、数据子集验证和自助法验证，用于测试建模、识别和估计各阶段的稳健性。
• 该库设计为可扩展，支持四个步骤的独立实现与组合，并兼容现有的统计与机器学习库。

实验结果

研究问题

• RQ1 如何使因果推断对缺乏因果建模深度专业知识的数据科学家更加易用？
• RQ2 何种系统化框架能够将因果分析的四个核心阶段——建模、识别、估计和反驳——统一为一个工作流？
• RQ3 当真实因果效应未知时，自动化反驳方法在多大程度上能提升对因果估计的信心？
• RQ4 该库在多大程度上能减少因果建模与估计中未经验证假设带来的错误？
• RQ5 如何设计因果推断工具，使其与现有的机器学习和计量经济学库实现互操作？

主要发现

• DoWhy 提供了一个原则化、四步法框架，使因果建模、识别、估计和反驳过程显式且系统化，减少了对临时假设的依赖。
• 该库支持多种识别准则，包括后门、前门、工具变量和中介分析，支持在多样化数据场景下的灵活因果分析。
• 通过与 EconML 和 CausalML 的集成，DoWhy 支持使用高级估计器（如双重机器学习），在高维混杂因子场景下显著提升性能。
• 自动化反驳方法（包括安慰剂处理和随机共同原因测试）成功检测出虚假效应，并验证了估计因果效应的稳健性。
• 该库的设计支持各步骤的模块化扩展，使研究人员和实践者能够独立地插入新模型、估计器和反驳技术。
• DoWhy 已获得广泛采用，GitHub 星标超过 2300 个，拥有 31 名贡献者，表明其在产业界和学术界均具有强大的社区参与度和实际应用价值。