[論文レビュー] Learning Neural Causal Models with Active Interventions

Nino Scherrer, Olexa Bilaniuk+8 more|arXiv (Cornell University)|Sep 6, 2021

Bayesian Modeling and Causal Inference参考文献 55被引用数 16

ひとこと要約

本稿では、神経的因果発見モデルが、最も情報の多い変数を能動的に選択できるようにする、アクティブ・インタビュー・ターゲティング（AIT）という手法を紹介する。この手法により、必要な介入の回数を顕著に削減できる。AITは、サンプルされたDAGの各々における介入後分布の乖離度に基づいて、潜在的な介入ターゲットをスコア化することで、収束を加速し、離散的および連続的設定の両方で複数のベンチマークにおいて構造同定の精度を向上させる。

ABSTRACT

Discovering causal structures from data is a challenging inference problem of fundamental importance in all areas of science. The appealing properties of neural networks have recently led to a surge of interest in differentiable neural network-based methods for learning causal structures from data. So far, differentiable causal discovery has focused on static datasets of observational or fixed interventional origin. In this work, we introduce an active intervention targeting (AIT) method which enables a quick identification of the underlying causal structure of the data-generating process. Our method significantly reduces the required number of interactions compared with random intervention targeting and is applicable for both discrete and continuous optimization formulations of learning the underlying directed acyclic graph (DAG) from data. We examine the proposed method across multiple frameworks in a wide range of settings and demonstrate superior performance on multiple benchmarks from simulated to real-world data.

研究の動機と目的

• 介入が高コストまたは限られている場合に、データから因果構造を効率的に同定する課題に対処すること。
• 観測データや固定された介入データに限定されてきた微分可能な神経的因果発見手法を、アクティブな介入ターゲティングを統合することで拡張すること。
• 構造同定の精度を維持または向上させながら、必要な介入回数を削減すること。
• 離散的および連続的最適化設定を含む、多様な神経的因果発見フレームワークにおいて、AITの有効性を示すこと。

提案手法

• AITは、サンプルされたDAGからの介入後サンプル分布に基づいて、すべてのノードに対して乖離度スコアを推定することで、介入ターゲットを選択する。
• 神経的因果モデルの構造的パラメータから複数の仮説的DAGをサンプリングし、各ノードに介入を適用してその結果得られる介入後分布を計算する。
• 異なるDAG仮説間の介入後サンプルの統計を比較することで乖離度スコアを計算し、最も情報の多い差を生じさせるターゲットを優遇する。
• AITは、DCDIやDSDIなどの既存の神経的因果発見フレームワークに統合され、勾配ステップごとに数回ごとに介入ターゲット空間を再最適化することで実装される。
• この手法は、有向無閉路グラフ（DAG）学習の離散的および連続的最適化定式化をサポートしており、広範な適用可能性を有する。
• 2段階のプロセスを用いる：(1) モデルの構造的パラメータからDAGをサンプリングし、(2) トポロジカル順序と関数的パラメータ推定を用いて介入ターゲットを評価する。

実験結果

リサーチクエスチョン

• RQ1 アクティブな介入ターゲティングは、神経的因果発見において真の因果構造を同定するために必要な介入回数を削減できるか？
• RQ2 ランダムな介入ターゲティングと比較して、AITは収束速度および構造同定精度において優れているか？
• RQ3 AITによる介入ターゲット選択は、ノードの影響力や下流への影響といったトポロジカル特性とどの程度相関しているか？
• RQ4 DCDIのようなフレームワークに統合された場合、AITは連続的かつ非線形なデータ環境においてもサンプル効率を向上させるか？
• RQ5 介入ターゲット空間のサイズ（K）が、AIT指導致命の因果発見における性能と収束に与える影響はどの程度か？

主な発見

• AIT指導致命のDCDIは、全テスト対象空間サイズ（K ∈ {2, 4, 6, 8}）において、ヴァニラDCDIよりもサンプル複雑性で優れており、構造ハミング距離（SHD）を維持または向上させつつ、より速い収束を達成している。
• 選択された介入ターゲットの分布は、トポロジカル特性と強く相関している：下流への影響力が大きいノードはより頻繁にターゲットに選ばれるが、子を持たないリーフノード（葉）は著しく少ない回数で介入されている。
• 全K値において、AIT指導致命のDCDIは元のDCDI定式化と同等またはより良いSHDを達成しており、一貫した性能向上が確認された。
• ランダムまたは固定されたターゲティングではなく、適応的かつ情報駆動型の選択を可能にすることで、必要な介入回数を削減している。
• シミュレーションおよび実世界の設定の両方において、特に非線形的かつ連続的データ環境では、AITが基礎となる因果構造の発見を加速する。
• アブレーションスタディにより、AITの性能が異なるK値においてもロバストであることが確認され、小さなターゲット空間サイズでも精度に劣化が生じないことが示された。