[論文レビュー] DoWhy: Addressing Challenges in Expressing and Validating Causal Assumptions

Amit Sharma, Vasilis Syrgkanis+2 more|arXiv (Cornell University)|Aug 27, 2021

Advanced Causal Inference Techniques参考文献 41被引用数 19

ひとこと要約

DoWhyは、因果グラフを用いて因果的仮定を形式化し、推定の前にその妥当性を検証するテストを提供する因果推論フレームワークであり、モデリング仮定の検証という重要なギャップを埋める。仮定の明示、同定、推定、検証を統合した構造的なパイプラインにより、透明性があり監査可能な因果分析を可能にし、観察されない交絡要因や誤ったモデル構造が結果に深刻なバイアスをもたらす可能性がある実世界の応用分野での信頼性を向上させる。

ABSTRACT

Estimation of causal effects involves crucial assumptions about the data-generating process, such as directionality of effect, presence of instrumental variables or mediators, and whether all relevant confounders are observed. Violation of any of these assumptions leads to significant error in the effect estimate. However, unlike cross-validation for predictive models, there is no global validator method for a causal estimate. As a result, expressing different causal assumptions formally and validating them (to the extent possible) becomes critical for any analysis. We present DoWhy, a framework that allows explicit declaration of assumptions through a causal graph and provides multiple validation tests to check a subset of these assumptions. Our experience with DoWhy highlights a number of open questions for future research: developing new ways beyond causal graphs to express assumptions, the role of causal discovery in learning relevant parts of the graph, and developing validation tests that can better detect errors, both for average and conditional treatment effects. DoWhy is available at https://github.com/microsoft/dowhy.

研究の動機と目的

• 実世界の因果推論において、因果的仮定を明示的かつ体系的に表現・検証する方法の欠如を解消すること。
• 推定における効果に影響を及ぼす観察されない交絡要因、誤った交わる要因／マーカーの割り当て、モデルの誤りによるバイアスを低減すること。
• 仮定の明示と推定の分離を実現する、構造的かつ監査可能な因果分析パイプラインを提供すること。
• 推定の前段階で仮定の検証を可能にすることで、因果推定の信頼性を向上させること。
• 仮定の抽出、因果的発見の統合、強固な検証テストに関する未解決の研究課題を特定すること。

提案手法

• 治療、結果、交わる要因、中間変数、道具変数に関する仮定を形式化するために、主にDAG（有向非巡回グラフ）を用いる。
• 4段階のAPIを実装：モデル（因果グラフの定義）、同定（推定式の導出）、推定（推定器の適用）、検証（誤反転および感度分析による仮定の検証）。
• 誤反転テスト（例：プラセボ介入、治療の置換）を用いて、モデルの誤りや推定器のバイアスを検出する。
• 感度分析を用いて、観察されない交わる要因が推定効果に与える影響を定量化する。
• 複数の推定器（例：IPW、回帰、TMLE）をサポートし、異なる因果モデルや同定戦略間での比較を可能にする。
• 因果的発見アルゴリズムと統合し、データから部分的なグラフを推定可能にするとともに、ドメインエキスパートが繰り返し修正・改善できるようにする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして因果的仮定を形式的に表現し、監査可能性と再現可能性を高めることができるか？
• RQ2 誤った交わる要因の選択や観察されない交わる要因といったモデリング仮定の誤りを検出するのに最も効果的な検証テストは何か？
• RQ3 因果的発見アルゴリズムを因果推論パイプラインに意味的に統合するにはどうすればよいか？
• RQ4 ドメインエキスパートは部分的に発見された因果グラフをどのように改善するのか？また、システムはこの相互作用をどのように支援すべきか？
• RQ5 推定器選択を支援し、耐性を高めるように設計された検証テストは、機械学習におけるストレステストと同様に設計可能か？

主な発見

• DoWhyフレームワークは、因果グラフを用いて因果的仮定を明示的かつ構造的に表現でき、因果分析における透明性と監査可能性を顕著に向上させる。
• プラセボ治療や治療の置換といった誤反転テストは、標準的な信頼区間が有効に見える場合でも、モデルの誤りや推定器のバイアスを検出できる。
• 感度分析により、観察されない交わる要因が推定に深刻なバイアスをもたらす可能性があり、交わる要因の方向性や強度に関する仮定がわかれば、そのバイアスの大きさを定量化できることが明らかになった。
• 理論的保証が強い推定法であっても、その背後にある因果モデルが誤っている場合には誤った結果を生み出す可能性があることが、本フレームワークによって示された。これは、推定の前段階での検証の重要性を強調している。
• 検証結果はデータセットによって異なる。複数の観察的データセットのうち、1つのデータセットでの誤反転テストの失敗は、データ品質やモデル仮定の問題を示唆するため、注意深く解釈する必要がある。
• 因果的発見と因果推論の統合は、未検証の仮定（例：忠実性、マークフ・条件）によって制限されており、発見段階の誤りが下流の推定に伝搬される可能性がある。これに対処するには、エキスパートの参加を組み込んだ反復的改善が不可欠である。