[論文レビュー] Causal query in observational data with hidden variables

Debo Cheng, Jiuyong Li+4 more|arXiv (Cornell University)|Jan 28, 2020

Bayesian Modeling and Causal Inference参考文献 38被引用数 4

ひとこと要約

本稿では、隠れ変数を伴う観察データにおける因果的クエリのためのデータ駆動型アルゴリズムDICEを提案する。本手法は、不偏な因果効果推定を保証するための新しい定理を用い、包含する変数の局所探索を効率的に行う。DICEは、既存の手法に比べて精度とスケーラビリティに優れ、知識に基づくアプローチと同等の推定品質を達成する一方で、従来の手法が失敗する大規模データセットでも動作する。

ABSTRACT

This paper discusses the problem of causal query in observational data with hidden variables, with the aim of seeking the change of an outcome when "manipulating" a variable while given a set of plausible confounding variables which affect the manipulated variable and the outcome. Such an "experiment on data" to estimate the causal effect of the manipulated variable is useful for validating an experiment design using historical data or for exploring confounders when studying a new relationship. However, existing data-driven methods for causal effect estimation face some major challenges, including poor scalability with high dimensional data, low estimation accuracy due to heuristics used by the global causal structure learning algorithms, and the assumption of causal sufficiency when hidden variables are inevitable in data. In this paper, we develop a theorem for using local search to find a superset of the adjustment (or confounding) variables for causal effect estimation from observational data under a realistic pretreatment assumption. The theorem ensures that the unbiased estimate of causal effect is included in the set of causal effects estimated by the superset of adjustment variables. Based on the developed theorem, we propose a data-driven algorithm for causal query. Experiments show that the proposed algorithm is faster and produces better causal effect estimation than an existing data-driven causal effect estimation method with hidden variables. The causal effects estimated by the proposed algorithm are as accurate as those by the state-of-the-art methods using domain knowledge.

研究の動機と目的

• 交絡変数が隠れたり部分的に観測可能な状況下で、観察データにおける因果効果推定の課題に対処すること。
• 現実的な隠れ交絡要因の仮定のもとで、不偏な因果推論を可能にする調整集合を特定するスケーラブルで正確な手法を開発すること。
• 従来のデータ駆動型手法の限界、特にスケーラビリティの低さ、ヒューリスティックな構造学習による精度の低さ、因果的十分性の仮定への依存を克服すること。
• ドメイン固有の知識を必要とせずに意思決定者に信頼できる因果推定と交絡要因の認識を提供すること。

提案手法

• 局所探索によって調整変数のスーパーセットを探索することで、不偏な因果効果推定が保証されるという理論的基盤（定理）を提唱する。
• PC-Selectという高速な局所構造学習アルゴリズムを用い、隠れ変数を伴う観察データから交絡要因のスーパーセットを効率的に同定する。
• 同定されたスーパーセットを用いて回帰やその他の推定器を用いて因果効果を推定し、提示された定理のもとで不偏性を保証する。
• 定理をデータ駆動型パイプライン（DICE）に統合し、構造学習と因果効果推定をスケーラブルに統合する。
• 最大アーキテクチャグラフ（MAGs）を用いて隠れ変数を扱える枠組みの中で、バックドア基準とdo-計算の原則を統合する。
• ベンチマークデータセットと合成データを用い、LV-IDAおよび知識ベースのベースラインと比較して手法の性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 隠れ交絡要因が存在する状況下で、調整変数のスーパーセットに対する局所探索が不偏な因果効果推定を達成できるか？
• RQ2 隠れ変数が存在する状況下で、本手法はLV-IDAのような既存のデータ駆動型因果推論手法に比べて、精度と効率で優れているか？
• RQ3 本手法は、ドメイン知識に依存する最先端の手法と同等の因果効果推定精度を達成できるか？
• RQ4 特にグローバル構造学習が失敗する状況下で、データサイズと次元数の増加に伴うスケーラビリティはいかがなものか？

主な発見

• IHDP、Jobs、Twinのデータセットにおいて、DICEは全評価手法の中で最小のバイアスを達成し、特に高次元設定ではLV-IDAに比べて顕著に低いバイアスを示した。
• Mバイアスを伴う合成データセットにおいて、DICEは他の手法が劣化する中で低バイアスを維持し、交絡なし仮定の違反に対してもロバストであることを示した。
• DICEは10のベンチマークBNデータセットを50秒未塔で処理完了したが、LV-IDAは5つの大規模BN（例：BARLEY、HAILFINDER、HEPAR II、WIN95、ANDES）において2時間以内に結果を返せなかった。
• DICEの因果効果推定値は、ドメイン知識を用いる最先端手法と同等の精度を達成しており、特にIHDPデータセットで最小のバイアスを示した。
• PC-Select（DICEのコア構造学習アルゴリズム）の実行時間は、変数数とサンプル数の両方に対して効率的にスケーリングされ、FCIやRFCIに比して高速かつスケーラブルであった。
• DICEは最大20万件のレコードを含むデータセットを正常に処理できたが、他の実装は同規模では実行不能または不可能であった。