[論文レビュー] BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery

Chris Cundy, Aditya Grover+1 more|arXiv (Cornell University)|Dec 6, 2021

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

BCD Netsは、連続的リラクゼーションとホースシューピリオラを用いて、DAG上の事後分布をモデル化する深層ニューラルネットワークを用いて、線形ガウス構造方程式モデルにおけるスケーラブルな変分推論フレームワークを提案する。低データ環境下での構造的ハミング距離（SHD）において、尤度最大化手法を著しく上回り、DAG構造推定における不確実性を定量化することで、性能を向上させる。

ABSTRACT

A structural equation model (SEM) is an effective framework to reason over causal relationships represented via a directed acyclic graph (DAG). Recent advances have enabled effective maximum-likelihood point estimation of DAGs from observational data. However, a point estimate may not accurately capture the uncertainty in inferring the underlying graph in practical scenarios, wherein the true DAG is non-identifiable and/or the observed dataset is limited. We propose Bayesian Causal Discovery Nets (BCD Nets), a variational inference framework for estimating a distribution over DAGs characterizing a linear-Gaussian SEM. Developing a full Bayesian posterior over DAGs is challenging due to the the discrete and combinatorial nature of graphs. We analyse key design choices for scalable VI over DAGs, such as 1) the parametrization of DAGs via an expressive variational family, 2) a continuous relaxation that enables low-variance stochastic optimization, and 3) suitable priors over the latent variables. We provide a series of experiments on real and synthetic data showing that BCD Nets outperform maximum-likelihood methods on standard causal discovery metrics such as structural Hamming distance in low data regimes.

研究の動機と目的

• 有限または同定不能なデータ下でDAG構造の不確実性を捉えられない点推定手法の限界を克服すること。
• 線形ガウスSEMにおけるDAG上の事後分布を推定するスケーラブルなベイズフレームワークを構築すること。
• 医療や政策など、高リスクで低データの応用分野における不確実性を考慮した因果推論を可能にすること。
• 離散的かつ組合せ的なDAGの完全ベイズ推論における計算の非効率性を、連続的リラクゼーションとアンモタイズド推論を用いて克服すること。

提案手法

• BCD Netsは、深層ニューラルネットワークを用いて、SEMパラメータ（エッジ重みとノイズ分散）の因子化された変分事後分布をパrameter化し、DAGを三角行列と置換に分解することを活用する。
• Gumbel-Softmaxトリックによる置換の連続的リラクゼーションを採用し、変分目的関数の低分散確率的最適化を可能にする。
• エッジ重みにホースシューピリオラを適用することで、スパarsityを促進し、構造的一般化を向上させる。
• ニューラルネットワークを用いたアンモタイズド推論により、DAG上の事後分布を効率的に近似し、全列挙を回避する。
• 変分目的関数を、周辺尤度の微分可能な下界として定式化し、勾配ベース最適化によるエンドツーエンド学習を可能にする。
• 線形ガウスSEMにおける等しいおよび等しくないノイズ分散設定をサポートし、DAGとパラメータの共同事後分布を柔軟にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルな変分推論フレームワークは、線形ガウスSEMにおけるDAG構造の不確実性を効果的に定量化できるか？
• RQ2 適切な事前分布を用いたベイズ推定は、低データ環境下で尤度最大化点推定と比較してどのように異なるか？
• RQ3 パrameter化、リラクゼーション、事前分布選択といった設計選択が、ベイズ的因果発見における性能とスケーラビリティに最も顕著に与える影響は何か？
• RQ4 連続的リラクゼーションとアンモタイズド推論の使用は、組合せ的DAG空間における効率的最適化を可能にしつつ、精度をどの程度維持できるか？
• RQ5 非線形関係や観測されない交絡要因といったモデル不適合に対して、この手法はどの程度頑健か？

主な発見

• BCD Netsは、低データ環境下で尤度最大化ベースラインを構造的ハミング距離（SHD）において上回り、32ノードのErdős-RényiグラフではSHDが約30から約11に低下した。
• 64ノードのグラフでは平均650分の訓練時間を記録し、GADGET（635分）とGOLEM（65分）と比較して、スケーラビリティと精度のトレードオフにおいて優れた性能を示した。
• アブレーションスタディでは、ホースシューピリオラを除去するか、固定されたSinkhornステップ数を使用すると、SHDが11から約30に上昇し、スパarsityと適応的リラクゼーションの重要性が明確になった。
• ラプラス事前分布下では、サンプルと誘導された共分散行列間のKLダイバージェンスは僅かに増加したが、SHDは急激に上昇し、データ適合は良好でも構造的一般化が著しく劣ることが示唆された。
• データセットサイズが増加するにつれて、BCD NetsとMLE手法との性能差は縮小し、本手法の優位性が特に低データ環境下に顕著であることが確認された。
• 最適化の観点では、モデル不適合に対し本手法は頑健であるが、観測されない交絡要因なし、かつ線形関係を仮定しているため、これが破られると実世界への適用性が制限される可能性がある。