[論文レビュー] Differentiable DAG Sampling

Bertrand Charpentier, Simon Kibler+1 more|arXiv (Cornell University)|Mar 16, 2022

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、まずノードのトップロジカルオーダーをサンプリングし、その後それに整合するエッジをサンプリングすることで、方向付き無閉路グラフ（DAG）の高速で微分可能なサンプリングを可能にする微分可能確率的モデル、DP-DAGを提案する。さらに、非微分可能な後処理を必要とせず、観測データからDAG構造を学習する変分推論手法VI-DP-DAGを提案し、最先端の性能を達成するとともに、GraN-DAG や Masked-DAG などのベースラインと比較して最大10倍高速な学習を実現した。

ABSTRACT

We propose a new differentiable probabilistic model over DAGs (DP-DAG). DP-DAG allows fast and differentiable DAG sampling suited to continuous optimization. To this end, DP-DAG samples a DAG by successively (1) sampling a linear ordering of the node and (2) sampling edges consistent with the sampled linear ordering. We further propose VI-DP-DAG, a new method for DAG learning from observational data which combines DP-DAG with variational inference. Hence,VI-DP-DAG approximates the posterior probability over DAG edges given the observed data. VI-DP-DAG is guaranteed to output a valid DAG at any time during training and does not require any complex augmented Lagrangian optimization scheme in contrast to existing differentiable DAG learning approaches. In our extensive experiments, we compare VI-DP-DAG to other differentiable DAG learning baselines on synthetic and real datasets. VI-DP-DAG significantly improves DAG structure and causal mechanism learning while training faster than competitors.

研究の動機と目的

• 観測データからの微分可能DAG学習の課題に対処すること。既存手法は計算コストの高い増大ラグランジュスキームや非微分可能な後処理に依存している。
• 順列とエッジ集合の構造的サンプリングにより、有効なDAGの高速で微分可能なサンプリングを可能にする確率的モデルの開発。
• すべてのトレーニングステップで有効なDAG出力を保証し、エンドツーエンド最適化を可能にする変分推論フレームワーク（VI-DP-DAG）の設計。
• DAG構造と因果メカニズムの両方の学習を向上させるとともに、最先端のベースラインと比較してトレーニング時間を大幅に短縮すること。

提案手法

• DP-DAGはDAGのサンプリングを2段階で行う。まず、Gumbel-SinkhornまたはGumbel-Softmaxを用いてノードの順列（トップロジカルオーダー）を微分可能にサンプリングする。
• 次に、Gumbel-Top-kまたはGumbel-Softmaxを用いて、サンプリングされた順序と整合するエッジをサンプリングし、サイクルのないことを保証する。
• 本手法は、離散分布の微分可能リラクゼーションを活用し、有効なDAG空間における勾配ベース最適化を可能にする。
• VI-DP-DAGはDP-DAGと変分推論を組み合わせ、観測データが与えられたもとでのDAGエッジの事後分布を近似する。変分分布はニューラルネットワークによってパrameter化されている。
• 複雑な双対昇降法や非微分可能なスプライシングステップの必要性を回避し、すべてのトレーニングステップで有効なDAGを保証する。
• モデルは、エッジ確率がトップロジカルオーダーに条件付けられた学習済み潜在変数モデルから導かれる変分下界の最大化によりトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 非微分可能な後処理に依存せず、信頼性の高い高速なサンプリングが可能なDAGの微分可能確率的モデルを設計できるか？
• RQ2 VI-DP-DAGは、既存の微分可能DAG学習手法と比較して、構造的および因果メカニズム学習性能においてどのように差をつけるか？
• RQ3 DP-DAGの微分可能サンプリング機構は、ベースラインと比較して、データの摂動に対してより頑健で信頼性の高い予測をもたらすか？
• RQ4 VI-DP-DAGは、合成および実世界のデータセットにおいて、性能を維持または向上させつつ、トレーニング速度を大幅に向上させられるか？
• RQ5 エッジ離散化におけるしきい値の選択が、VI-DP-DAGにおける因果メカニズム回復にどの程度影響を及えるか？

主な発見

• VI-DP-DAGは、合成および実データセットの両方でAUC-PRおよびAUC-ROC指標において、GraN-DAG や Masked-DAG を上回る最先端の性能を達成した。
• ER-100-400データセットでは、VI-DP-DAGはGraN-DAGよりも10倍以上高速にトレーニングされ、時間のかかる非微分可能な処理ステップを回避した。
• ER-100-400において、PNS前処理はVI-DP-DAGの約4倍遅く、CAMは2日以内に完了しなかったが、VI-DP-DAGはその900倍以上速かった。
• 大規模グラフにおいて、CAMアルゴリズムとDAGスプライシング後処理は、それぞれVI-DP-DAGと比較して約23倍および約4倍遅く、その効率的優位性が顕著に現れた。
• VI-DP-DAGは、摂動を加えたグラフに対して一貫して低下する信頼性スコアを割り当てており、GraN-DAG や Masked-DAG よりもノイズの少ないベースラインと比較して、信頼性の高い不確実性推定が可能であることを示した。
• VI-DP-DAGにおける因果メカニズム学習は、しきい値選択に対して頑健であり、MSEスコアはしきい値1の近辺を除き安定していた。しきい値1ではスパarsityがGranger因果関係の喪失を引き起こした。