[論文レビュー] DAGs with NO TEARS: Continuous Optimization for Structure Learning

Xun Zheng, Bryon Aragam+2 more|arXiv (Cornell University)|Mar 4, 2018

Bayesian Modeling and Causal Inference被引用数 224

ひとこと要約

論文はDAG構造学習を連続最適化問題として再定義し、滑らかな完全な非循環制約（NOTEARS）を導入することで、組合せ探索なしに効率的な構造とパラメータ学習を実現する。

ABSTRACT

Estimating the structure of directed acyclic graphs (DAGs, also known as Bayesian networks) is a challenging problem since the search space of DAGs is combinatorial and scales superexponentially with the number of nodes. Existing approaches rely on various local heuristics for enforcing the acyclicity constraint. In this paper, we introduce a fundamentally different strategy: We formulate the structure learning problem as a purely \emph{continuous} optimization problem over real matrices that avoids this combinatorial constraint entirely. This is achieved by a novel characterization of acyclicity that is not only smooth but also exact. The resulting problem can be efficiently solved by standard numerical algorithms, which also makes implementation effortless. The proposed method outperforms existing ones, without imposing any structural assumptions on the graph such as bounded treewidth or in-degree. Code implementing the proposed algorithm is open-source and publicly available at https://github.com/xunzheng/notears.

研究の動機と目的

• DAGを学習するNP困難性の動機付けと、スケーラブルな方法の必要性。
• 離散的なDAG制約を滑らかな等式制約に置換する連続的な定式化を導入。
• 連続プログラムの共同構造とパラメータ推定の最適化のための拡張ラグランジュ法を開発。
• 実証的な有効性を示し、最先端の手法と比較し、実践的にグローバルミニマizerに関連づける。

提案手法

• F(W)を正則化LS損失として定義: F(W)= (1/2n)||X - XW||_F^2 + λ||W||_1.
• 滑らかな関数 h(W)=tr(exp(W∘W))−d で非循環性を特徴づける、∘はHadamard積。
• 離散的DAG制約を等式 h(W)=0 に置換し、等式制約付きプログラム(ECP)を得る。
• 拡張ラグランジュ法で(ECP)を解く: F(W) + (ρ/2)|h(W)|^2 + α h(W)を最小化、αをデュアルアセント法で更新、L-BFGSまたは近似ニュートン法を用いて反復的にサブ問題を最適化。
• 最適化後、硬閾値処理を適用: Ŵ = W̃_ECP ∘ 1(|W̃_ECP|>ω) によりスパースで非循環構造を得る。
• 注: このアプローチは標準的な数値ソルバーを活用しており、約50行のPythonで実装可能。

実験結果

リサーチクエスチョン

• RQ1 滑らかな完全な非循環制約はDAG構造学習における組合せ的非循環制約を置換できるか？
• RQ2 標準ソルバーを用いた連続の非凸最適化法は、限定的なグラフ仮定なしで競争力のあるDAG構造とパラメータ推定をもたらすか？
• RQ3 連続定式化からの解は実践的にグローバル最適解および正確なDAGにどれだけ近いか？

主な発見

F(W)	F(W_G)	F(Ŵ)	F(W̃_ECP)	Δ(W_G, Ŵ)	||Ŵ−W_G||	||W−W_G||
5.11	3.85	5.36	3.88	-1.52	0.07	3.38
16.04	12.81	13.49	12.90	-0.68	0.12	3.15
4.99	4.97	5.02	4.95	-0.05	0.02	0.40
15.93	13.32	14.03	13.46	-0.71	0.12	2.95
4.99	3.77	4.70	3.85	-0.93	0.08	3.31
23.33	16.19	17.31	16.69	-1.12	0.15	5.08
4.96	4.94	5.05	4.99	-0.11	0.04	0.29
23.29	17.56	19.70	18.43	-2.13	0.13	4.34

• NOTEARSは有界木幅や出次数といった仮定なしで最先端の性能を達成。
• 方法は実務上グローバル最適スコアに近いスコアを達成するが、収束は停留点への保証にとどまる。
• 正則化（ℓ1）は小サンプル領域での構造回復を改善。
• このアプローチは中程度の高次元へ拡張可能で、大規模サンプルでは一貫したパラメータ推定を生み、異なるノイズモデル間で頑健性を示す。
• 著者らはNOTEARSを実装したオープンソースコードをgithub.com/xunzheng/notearsで提供。