[論文レビュー] Diffusion Models for Causal Discovery via Topological Ordering

Pedro L. Sánchez, Xiao Liu+2 more|arXiv (Cornell University)|Oct 12, 2022

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、加法的ノイズモデルにおけるトポロジカルオーダリングのための、データの対数尤度のヘッセ行列を推定するためにノイズ除去拡散確率的モデル（DPMs）を活用するスケーラブルな因果発見手法DiffANを提案する。一度訓練したニューラルスコアモデルを再訓練せずに「落葉スコア」メカニズムにより効率的に更新することで、500変数および10⁵サンプルにまで及ぶ高次元データセットに対しても因果発見が可能となり、スケーラビリティにおいて先行手法を上回りつつ、小規模データセットでは最先端の精度を維持する。

ABSTRACT

Discovering causal relations from observational data becomes possible with additional assumptions such as considering the functional relations to be constrained as nonlinear with additive noise (ANM). Even with strong assumptions, causal discovery involves an expensive search problem over the space of directed acyclic graphs (DAGs). \emph{Topological ordering} approaches reduce the optimisation space of causal discovery by searching over a permutation rather than graph space. For ANMs, the \emph{Hessian} of the data log-likelihood can be used for finding leaf nodes in a causal graph, allowing its topological ordering. However, existing computational methods for obtaining the Hessian still do not scale as the number of variables and the number of samples increase. Therefore, inspired by recent innovations in diffusion probabilistic models (DPMs), we propose \emph{DiffAN}\footnote{Implementation is available at \url{https://github.com/vios-s/DiffAN} .}, a topological ordering algorithm that leverages DPMs for learning a Hessian function. We introduce theory for updating the learned Hessian without re-training the neural network, and we show that computing with a subset of samples gives an accurate approximation of the ordering, which allows scaling to datasets with more samples and variables. We show empirically that our method scales exceptionally well to datasets with up to $500$ nodes and up to $10^5$ samples while still performing on par over small datasets with state-of-the-art causal discovery methods. Implementation is available at https://github.com/vios-s/DiffAN .

研究の動機と目的

• 高次元データセットに伴う変数とサンプル数の増加に伴う因果発見のスケーラビリティのボトル neck を解消すること。
• 大規模な設定においてカーネルベースのヘッセ行列推定が計算的に非現実的である問題を克服すること。
• ノイズ除去拡散モデルを用いてスコア関数を学習し、効率的なトポロジカルオーダリングを可能にすること。
• 各リーフノードの削除後にニューラルネットワークの再訓練を伴わずにスコア関数を効率的に更新できる手法を開発すること。
• 小規模データセットでは最先端のパフォーマンスを達成するとともに、最大500ノードおよび10⁵サンプルのスケーラブルな大規模問題に対応すること。

提案手法

• データ分布のスコア関数を学習するため、ノイズ除去拡散確率的モデル（DPM）を訓練し、バックプロパゲーションを用いた効率的なヘッセ行列計算を可能にする。
• DPMのスコアおよびその完全なヤコビアンを用いて、因果グラフにおけるリーフノード同定のための対数尤度のヘッセ行列を計算する。
• リーフノードを削除した後、ニューラルネットワークの再訓練を伴わずにスコア関数を解析的に更新する「落葉スコア」フレームワークを導入する。
• ヘッセ行列評価にデータのサブサンプルを適用することで、サンプルサイズに対して定数時間の計算量を実現し、スケーラビリティを確保する。
• ヘッセ行列の対角成分に基づいて繰り返しリーフノードを同定・削除し、トポロジカルオーダリングによって因果DAGを再構築する。
• DPMが分布外の点にも一般化可能で、サブサンプリングをサポートするが、カーネルベースの手法とは異なり、これはDPMの利点である。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去拡散モデルを用いて、因果発見のためのデータ対数尤度のヘッセ行列を効果的に推定できるか？
• RQ2 各リーフノード削除後にニューラルネットワークの再訓練を伴わずにスコア関数を効率的に更新できるか？
• RQ3 本手法は、2,000サンプルを超えると既存手法が失敗するような、最大500変数および10⁵サンプルのデータセットに対してもスケーリング可能か？
• RQ4 小規模データセットにおける本手法のパフォーマンスは、最先端の因果発見アルゴリズムと比較してどの程度か？
• RQ5 ヘッセ行列計算におけるサブサンプリングは、計算コストを著しく削減しながらも、精度を維持できるか？

主な発見

• DiffANは、500変数および10⁵サンプルにまでスケーリング可能であり、SCOREなどの既存手法は64GB RAMのマシン上では2,000サンプルを超えると失敗する。
• 小規模データセット（例：50変数）においても、最先端の手法と同等のパフォーマンスを維持しており、競争力のある精度を示している。
• 落葉スコアメカニズムにより、サンプルサイズに依存しない定数時間のヘッセ行列計算が可能となり、各リーフノード削除後の効率的更新が実現されている。
• サブサンプルを用いたヘッセ行列評価が正確なトポロジカルオーダリングを達成しており、近似戦略の妥当性が裏付けられている。
• DPMに基づくスコア推定により、カーネルベースの手法がフルカーネル行列を必要とするのとは異なり、分布外の点に対しても一般化が可能である。
• 従来のディープラーニングベースの因果発見手法とは異なり、ニューラルネットワークのアーキテクチャに制約を課さない。