[論文レビュー] Stable Differentiable Causal Discovery

Achille Nazaret, Justin Hong+2 more|arXiv (Cornell University)|Nov 17, 2023

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、スペクトル的非巡回性制約とスパarsityに配慮したトレーニング手順を導入することで、数値的安定性とスケーラビリティを向上させる2段階の微分可能因果発見手法であるStable Differentiable Causal Discovery (SDCD)を提案する。SDCDは、従来の手法と比較して収束が速く、精度が高く、観測データおよび介入データの両方において数千変数にスケーリング可能である。

ABSTRACT

Inferring causal relationships as directed acyclic graphs (DAGs) is an important but challenging problem. Differentiable Causal Discovery (DCD) is a promising approach to this problem, framing the search as a continuous optimization. But existing DCD methods are numerically unstable, with poor performance beyond tens of variables. In this paper, we propose Stable Differentiable Causal Discovery (SDCD), a new method that improves previous DCD methods in two ways: (1) It employs an alternative constraint for acyclicity; this constraint is more stable, both theoretically and empirically, and fast to compute. (2) It uses a training procedure tailored for sparse causal graphs, which are common in real-world scenarios. We first derive SDCD and prove its stability and correctness. We then evaluate it with both observational and interventional data and on both small-scale and large-scale settings. We find that SDCD outperforms existing methods in both convergence speed and accuracy and can scale to thousands of variables. We provide code at https://github.com/azizilab/sdcd.

研究の動機と目的

• 数十変数を超える場合に顕著な数値的不安定性とスケーラビリティの欠如を示す既存の微分可能因果発見（DCD）手法の課題を解決すること。
• 連続最適化における因果発見の文脈で、より安定的かつ計算効率の良い非巡回性制約を設計すること。
• 高次元設定におけるスパarsity学習の向上と真の因果エッジの保持を促進する2段階最適化フレームワークを設計すること。
• 小規模および大規模な問題における観測データおよび介入データ上で、SDCDの実験的妥当性を検証すること。
• 最先端のDCD手法と比較して、SDCDが優れた収束速度、精度、スケーラビリティを達成できることを示すこと。

提案手法

• SDCDは、隣接行列のスペクトル半径に基づくスペクトル的非巡回性制約を採用しており、理論的および実験的に従来のペナルティベースの制約よりも安定性に優れている。
• 本手法は2段階最適化を用いる：第1段階は非巡回性を強制しない弱いエッジの除去を行うプリーニング段階、第2段階はスペクトル制約を用いて非巡回性を強制するDCD段階。
• 第1段階では、学習されたマスクを用いて不要なエッジを抑制し、真の因果関係を保持するとともに、トレーニングの安定性を向上させる。
• 第2段階は、第1段階で得られたマスクとエッジ重みで初期化され、収束が速く、一般化性能も向上する。
• 本フレームワークは、遺伝学やシステム生物学など、実世界の応用で一般的なスパース因果グラフに特化している。
• 理論的分析により、第1段階が真のエッジを除去しないことが証明され、実験結果により、より高いロバストネスと精度が確認されている。

Figure 1 : Visual representation of the SDCD method.

実験結果

リサーチクエスチョン

• RQ1 微分可能因果発見における数値的安定性を向上させるために、新たな非巡回性制約を設計できるか？
• RQ2 2段階最適化手順は、大規模因果発見における収束速度と精度を向上させることができるか？
• RQ3 SDCDは、観測データおよび介入データの両方において、数千変数にスケーリング可能でありながら高い精度を維持できるか？
• RQ4 スペクトル的非巡回性制約は、従来のペナルティベースの制約と比較して、安定性と計算効率の面で優れているか？
• RQ5 2段階設計は、スケーラブルな最適化を可能にする一方で、真の因果エッジをどの程度保持できるか？

主な発見

• SDCDは、すべてのテスト設定において、従来のDCD手法を上回る収束速度と精度を達成し、最小の構造的ハミング距離（SHD）を実現した。
• d=40変数、1変数あたりs=4エッジの観測データにおいて、SDCDはSHD=69.0を達成し、DCDI（87.0）や他のベースラインと比べて顕著に低い。
• 40変数、平均エッジ密度55%の設定でもSDCDは効果的にスケーリングでき、SHD=222.3を達成したが、GIESはd≥30で実行不能であった。
• アブレーションスタディの結果、第2段階でのマスクの強制が極めて重要であることが確認された：SDCD-warm-nomaskはSDCDに比べて著しく性能が劣った。
• SDCD-warm（重み伝搬あり）は僅かな改善に留まり、2段階設計が頑健であり、追加のウェイムスタートチューニングを必要としないことが示された。
• 5つのランダムデータセットにおける精度と再現率のボックスプロットから、SDCDは介入率や変数数の増加に対しても高い精度と再現率を維持した。

Figure 2 : Constraint behaviors in typical regimes. (left) as the weights’ scale $\varepsilon$ increases (right) as the number of variable $d$ increases. For uniform random weights in $[0,\epsilon]^{d\times d}$ (dashed) or a cycle of length $d/2$ with weight $\varepsilon$ (solid). Only the proposed