[論文レビュー] Gradient-Based Neural DAG Learning

Sébastien Lachapelle, Philippe Brouillard+2 more|arXiv (Cornell University)|Jun 5, 2019

Bayesian Modeling and Causal Inference参考文献 44被引用数 15

ひとこと要約

本稿では、非線形関係をモデル化するニューラルネットワークを用いて、観測データから有向無閉路グラフ（DAG）を学習する勾配ベースの手法GraN-DAGを提案する。NOTEARS連続最適化フレームワークを微分可能かつ巡回性のない制約に拡張することで、GraN-DAGは合成データおよび実世界のデータセットにおいて最先端の性能を達成し、連続的手法を上回り、CAM や GSF のようなグリーディ探索手法と因果推論の主な指標で同等の性能を発揮する。

ABSTRACT

We propose a novel score-based approach to learning a directed acyclic graph (DAG) from observational data. We adapt a recently proposed continuous constrained optimization formulation to allow for nonlinear relationships between variables using neural networks. This extension allows to model complex interactions while avoiding the combinatorial nature of the problem. In addition to comparing our method to existing continuous optimization methods, we provide missing empirical comparisons to nonlinear greedy search methods. On both synthetic and real-world data sets, this new method outperforms current continuous methods on most tasks, while being competitive with existing greedy search methods on important metrics for causal inference.

研究の動機と目的

• 非線形な関係が存在する観測データから因果的DAG構造を学習する課題に対処すること。
• ニューラルネットワークを用いて非線形的依存関係を扱えるように、NOTEARS連続最適化フレームワークを拡張すること。
• CAM や GSF のような非線形グリーディ探索手法と比較することで、実験的評価のギャップを埋めること。
• 組み合わせ的探索を回避しつつ、スケーラブルで微分可能であり、構造学習ベンチマークで高い性能を維持するアプローチを提供すること。

提案手法

• 構造方程式モデルにおける非線形関係を捉えるために、線形モデルをフィードフォワードニューラルネットワークに置き換えることで、NOTEARSフレームワークを拡張する。
• 隣接行列のスペクトル半径が1未満であることを満たすことで、微分可能なパスベースの緩和を用いて、微分可能な巡回性制約を実装する。
• DAG制約を隣接行列の微分可能な関数として強制する連続的最適化定式化を採用し、勾配降下法によるエンドツーエンド学習を可能にする。
• ニューラルネットワークおよびグラフの両レベルで、巡回性条件のパスベースの緩和を維持することで微分可能性を確保する。
• 2段階の最適化プロセスを採用：まずニューラルネットワークのパラメータを最適化し、その後、射影勾配法を用いて隣接行列を精緻化する。
• 最終的なDAGのスパarsityと解釈可能性を向上させるために、プルーニング機構としきい値戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを用いて非線形DAG構造学習を可能にしつつ、巡回性を維持する連続的で微分可能な最適化フレームワークを拡張できるか？
• RQ2 GraN-DAGは、合成データおよび実世界のデータにおいて、NOTEARS や DAG-GNN のような既存の連続的手法と比較して、構造学習の正確性に優れているか？
• RQ3 GraN-DAGは、非線形設定において、CAM や GSF のようなグリーディ探索手法と比較して競争力のある性能を発揮するか？
• RQ4 微分可能な巡回性制約は、深層モデルを用いたDAG学習のスケーラビリティおよび収束性にどのような影響を与えるか？
• RQ5 GraN-DAGは、高次元および実世界の生物学的データを含む多様なデータタイプに一般化可能か？

主な発見

• 10ノードの合成データでは、GraN-DAGは平均SHDが2.6±2.4を達成し、NOTEARS（21.2±11.5）とDAG-GNN（8.7±2.8）を著しく上回り、すべての指標でCAM や GSF と同等またはそれを上回った。
• 50ノードのER4合成グラフでは、GraN-DAGは平均SIDが37.1±12.4を達成し、NOTEARS（41.3±11.5）とDAG-GNN（63.6±8.6）を上回り、一部のケースでCAM（28.5±21.5）とGSF（44.5±19.7）と同等の性能を示した。
• 実世界のタンパク質シグナル伝達データセットでは、GraN-DAGはSHDが12.0、SHD-Cが9.0を達成し、NOTEARS（15.0および14.0）を上回り、CAM（11.0および9.0）と同等の主要指標を達成した。
• 20ノードのSynTReN合成データセットでは、GraN-DAGは平均SHDが41.2±9.6を達成し、NOTEARS（44.2±27.5）とDAG-GNN（32.2±5.0）を上回り、SHDではCAM（101.7±37.2）と同等の性能を示したが、SHD-Cでは優れていた。
• ハイパーパramータサーチにおいて、GraN-DAGはすべての設定でNOTEARS や DAG-GNN よりも低いSHDとSIDを一貫して達成し、ロバストネスと一般化性能を示した。
• GraN-DAGは合成データおよび実世界のデータの両方で優れた性能を発揮し、特にSHDとSID指標において、CAM や GSF のようなグリーディベースラインと同等の結果を示した。