[論文レビュー] Large-Scale Differentiable Causal Discovery of Factor Graphs

Romain Lopez, Jan-Christian Hütter+2 more|arXiv (Cornell University)|Jun 15, 2022

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

本稿では、低ランクで非線形な構造的方程式を強制する要因有向無閉路グラフ（f-DAG）を用いた、大規模な因果探索のためのスケーラブルな手法であるDifferentiable Causal Discovery of Factor Graphs（DCD-FG）を紹介する。微分可能最適化と因果的相互作用の低ランク制約を組み合わせることで、数千変数の環境においても効率的な因果構造学習が可能となり、シミュレーションおよび数百の干渉を伴う単一細胞RNA-seqデータにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

A common theme in causal inference is learning causal relationships between observed variables, also known as causal discovery. This is usually a daunting task, given the large number of candidate causal graphs and the combinatorial nature of the search space. Perhaps for this reason, most research has so far focused on relatively small causal graphs, with up to hundreds of nodes. However, recent advances in fields like biology enable generating experimental data sets with thousands of interventions followed by rich profiling of thousands of variables, raising the opportunity and urgent need for large causal graph models. Here, we introduce the notion of factor directed acyclic graphs (f-DAGs) as a way to restrict the search space to non-linear low-rank causal interaction models. Combining this novel structural assumption with recent advances that bridge the gap between causal discovery and continuous optimization, we achieve causal discovery on thousands of variables. Additionally, as a model for the impact of statistical noise on this estimation procedure, we study a model of edge perturbations of the f-DAG skeleton based on random graphs and quantify the effect of such perturbations on the f-DAG rank. This theoretical analysis suggests that the set of candidate f-DAGs is much smaller than the whole DAG space and thus may be more suitable as a search space in the high-dimensional regime where the underlying skeleton is hard to assess. We propose Differentiable Causal Discovery of Factor Graphs (DCD-FG), a scalable implementation of -DAG constrained causal discovery for high-dimensional interventional data. DCD-FG uses a Gaussian non-linear low-rank structural equation model and shows significant improvements compared to state-of-the-art methods in both simulations as well as a recent large-scale single-cell RNA sequencing data set with hundreds of genetic interventions.

研究の動機と目的

• 数千変数を含む高次元設定における因果探索の計算的非実行可能性に対処する。
• サイクル制約における立方体時間計算量（O(d³)）のため、100ノード程度を超えるとスケーリングが著しく劣化する既存手法の限界を克服する。
• 探索空間の複雑さを低減するための低ランク構造的仮定を活用し、スケーラブルで微分可能な因果探索フレームワークを構築する。
• 特に高スループット生物学的応用分野における大規模干渉データからの正確な因果構造学習を可能にする。
• 要因グラフを、高次元設定における実行可能で生物学的に妥当な探索空間として用いる根拠を理論的および実験的に提示する。

提案手法

• 因果的相互作用が少数の潜在的要因（m ≪ d）を通じて媒介される低ランク構造的制約として、要因有向無閉路グラフ（f-DAG）を提案する。
• 要因に基づく親子関係を用いたガウス型非線形低ランク構造的方程式モデルで、同時分布をモデル化する。
• サイクル性の連続的緩和を用いてf-DAG制約を微分可能最適化フレームワークに統合し、エンドツーエンドの学習を可能にする。
• O(md)の計算量で実行可能なサイクル性ペナルティを導入し、O(d³)の手法と比較して著しく計算コストを削減する。
• 最適化中にサイクル性制約を強制するために増大ラグランジュ法を適用し、大規模グラフにおけるスケーラブルな学習を実現する。
• 遺伝子から要因、要因から遺伝子への関係を柔軟に非線形にモデル化するため、leaky ReLU活性化関数とXavier初期化を用いたニューラルネットワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 低ランク構造的仮定（f-DAG）は、高次元設定においても表現力を保ちつつ、可能な因果グラフの探索空間を顕著に縮小できるか？
• RQ2 大規模干渉データにおける構造的正確性の観点から、DCD-FGの微分可能最適化フレームワークは、最先端手法と比較してどの程度優れているか？
• RQ3 統計的ノイズやモデル誤指定（例：非ガウス分布ノイズ、観測データ）に対して、DCD-FGはどの程度頑健であるか？
• RQ4 実際の応用において、ランクハイパーパrameter（m）の選択がDCD-FGの性能と一般化能力にどのように影響を与えるか？
• RQ5 f-DAGは、単一細胞RNA-seqデータにおける遺伝子調節ネットワークなどの実世界の生物学的システムを効果的にモデル化できるか？

主な発見

• DCD-FGは、最大1000変数の合成データにおいて、F1スコアおよび構造的正確性の観点で、NOTEARS、NOTEARS-LR、NOBEARSを顕著に上回る最先端の性能を達成した。
• 300の遺伝子干渉と約1000遺伝子を含む大規模な単一細胞RNA-seqデータセットにおいて、DCD-FGはm=20の潜在的要因と196,303本のエッジを持つ因果グラフを効果的に同定し、実世界の生物学的データへのスケーラビリティを示した。
• モデル誤指定に対しても強い頑健性を示した：一様ノイズ下でも性能の低下はわずかであり、手法間の相対的順位は変化しなかった。
• 干渉データが存在しない観測データに対してもDCD-FGは高い性能を維持したが、正確性は低下した。これは、干渉的および観測的両状況で有効であることを示している。
• 妥当性評価の尤度と下流の性能の間には強い相関が認められ、ハイパーパrameter選択（特にランクm）にホールドアウト尤度を用いる正当性が裏付けられた。
• 理論的解析により、f-DAGの候補集合は、特にエッジの摂動下において、完全なDAG空間と比較して顕著に小さいことが示された。これは、高次元設定における実行可能な探索空間としてf-DAGを用いる妥当性を支持する。