[論文レビュー] Differentiable Causal Discovery Under Unmeasured Confounding

Rohit Bhattacharya, Tushar Nagarajan+2 more|arXiv (Cornell University)|Mar 18, 2021

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

この論文は、共変動要因を伴う線形系における因果発見のための微分可能フレームワークを提案する。同論文は、祖先的ADMG、アリッドADMG、バウフリーADMGにおける等価制約をモデル化し、因果発見を連続最適化問題として定式化することで、未測定の共変動要因が存在するデータから因果構造をエンドツーエンドで学習可能となる。シミュレーションおよびタンパク質発現データセットにおいて、精度が向上することを示している。

ABSTRACT

The data drawn from biological, economic, and social systems are often confounded due to the presence of unmeasured variables. Prior work in causal discovery has focused on discrete search procedures for selecting acyclic directed mixed graphs (ADMGs), specifically ancestral ADMGs, that encode ordinary conditional independence constraints among the observed variables of the system. However, confounded systems also exhibit more general equality restrictions that cannot be represented via these graphs, placing a limit on the kinds of structures that can be learned using ancestral ADMGs. In this work, we derive differentiable algebraic constraints that fully characterize the space of ancestral ADMGs, as well as more general classes of ADMGs, arid ADMGs and bow-free ADMGs, that capture all equality restrictions on the observed variables. We use these constraints to cast causal discovery as a continuous optimization problem and design differentiable procedures to find the best fitting ADMG when the data comes from a confounded linear system of equations with correlated errors. We demonstrate the efficacy of our method through simulations and application to a protein expression dataset. Code implementing our methods is open-source and publicly available at this https URL and will be incorporated into the Ananke package.

研究の動機と目的

• 共変動要因が存在する系において、祖先的ADMGがすべての等価制約を捉えきれないという限界を解消すること。
• 観測変数における等価制約を完全に特徴付けるより一般的なADMGクラス—アリッドADMGおよびバウフリーADMG—をモデル化すること。
• 微分可能な代数的制約を用いて、因果発見を連続最適化問題として定式化すること。
• 未測定の共変動要因による相関誤差が存在するデータから、因果構造をエンドツーエンドで学習可能にすること。
• 生物学的および経済的データなどの現実世界の共変動要因が存在する系における因果発見の精度とスケーラビリティを向上させること。

提案手法

• 祖先的ADMG、アリッドADMG、バウフリーADMGの空間を特徴付ける微分可能な代数的制約を導出する。
• これらの制約に基づく微分可能な損失関数を最小化することで、因果発見問題を連続最適化タスクとして定式化する。
• 勾配ベース最適化を用いて、相関誤差が存在する観測データからADMGの構造を学習する。
• 構造探索におけるバックプロパゲーションをサポートする微分可能なアーキテクチャに制約を統合する。
• 制約の微分可能性を活用して、線形構造方程式モデルにおけるグラフ構造とパラメータの共同推定を可能にする。
• オープンソースコードとして実装し、より広範な再現性と利用を実現するためAnankeパッケージに統合する。

実験結果

リサーチクエスチョン

• RQ1 微分可能な制約は、線形系における未測定の共変動要因が引き起こすすべての等価制約を完全に捉えきれるか？
• RQ2 アリッドADMGおよびバウフリーADMGは、祖先的ADMGに比べて、条件付き制約および等価制約の全セットをどのように表現するか？
• RQ3 微分可能な制約に対する連続最適化は、離散探索手法に比べて、共変動要因が存在する状況下で真の因果構造をより効果的に回復できるか？
• RQ4 この手法は、未測定の共変動要因が存在する現実世界のデータから、どの程度因果構造を回復できるか？
• RQ5 非ガウスノイズや非線形性などのモデル仮定の違反に対して、この手法はどの程度頑健か？

主な発見

• 提案された微分可能な制約は、祖先的ADMG、アリッドADMG、バウフリーADMGの空間を完全に特徴づけ、観測変数におけるすべての等価制約を捉えきっている。
• 未測定の共変動要因が存在するシミュレーションデータから、因果構造が成功裏に回復され、離散探索手法に比べて精度と収束速度の両面で優れている。
• タンパク質発現データセットにおいて、最先端の性能を達成しており、未測定の共変動要因が存在する中でも生物学的に妥当な因果関係を同定している。
• 微分可能なフレームワークにより、勾配降下を用いたエンドツーエンド学習が可能となり、グラフ構造とパラメータの共同最適化が可能になった。
• オープンソース実装はAnankeパッケージに統合されており、今後の研究における再現性と拡張性を実現している。