[論文レビュー] Learning DAGs without imposing acyclicity

Gherardo Varando|arXiv (Cornell University)|Jun 4, 2020

Bayesian Modeling and Causal Inference参考文献 23被引用数 5

ひとこと要約

本稿では、明示的な非巡回性制約を課さずに、逆共分散行列の $\mathrm{1}$-正則化付きスパース行列分解として定式化することで、データから有向非巡回グラフ（DAG）を学習する新しい手法を提案する。この手法は、プロキシマル勾配法を用いて因子分解を推定し、競争力のあるDAG回復性能と計算効率を達成しており、結果としてほぼ非巡回的なグラフを生成し、従来の手法よりも高速であることが示されている。

ABSTRACT

We explore if it is possible to learn a directed acyclic graph (DAG) from data without imposing explicitly the acyclicity constraint. In particular, for Gaussian distributions, we frame structural learning as a sparse matrix factorization problem and we empirically show that solving an $\ell_1$-penalized optimization yields to good recovery of the true graph and, in general, to almost-DAG graphs. Moreover, this approach is computationally efficient and is not affected by the explosion of combinatorial complexity as in classical structural learning algorithms.

研究の動機と目的

• 最適化において非巡回性を明示的に制約しない場合に、DAG構造学習が可能かどうかを調査すること。
• 従来のスコアベースおよび制約ベースのDAG学習アルゴリズムに対する計算効率の高い代替手法を開発すること。
• 真のDAG構造の回復に、$\mathrm{1}$-正則化付き尤度最小化を用いたスパース行列因子分解アプローチの性能を評価すること。
• 制約ベースの手法とは異なり、本手法がグラフ構造とモデルパラメータの両方を推定できることを示すこと。

提案手法

• 線形SEMの共分散行列の逆行列を $\Sigma^{-1} = A A^t$ と定式化し、$A$ がDAGの隣接行列 $\Lambda$ のスパース構造を引き継ぐこととする。
• DAG学習を $\ell_1$-正則化付きの対数尤度の最小化問題として再定式化する：$\min_A -2\log\det(A) + \mathrm{trace}(A^t \hat{R} A) + \lambda \|A\|_1$。
• プロキシマル勾配法を用いて最適化を解き、$\ell_1$正則化にはソフトスレッショルド処理、対数行列式および逆行列の計算にはLU分解を用いる。
• 推定された $A$ 行列の非ゼロ要素のパターンを直接用いてDAG構造を回復し、非巡回性制約を課さない。
• 解がしばしばほぼ非巡回的なグラフを生成することに着目し、非巡回性の明示的制約がなくても、$\ell_1$正則化が非巡回性を暗黙的に促進することが示唆される。
• Fortranで実装され、RおよびPythonインターフェースを備え、コードは github.com/gherardovarando/nodag で公開されている。

実験結果

リサーチクエスチョン

• RQ1 最適化プロセスにおいて非巡回性を明示的に制約しない場合に、DAG構造は効果的に回復可能か？
• RQ2 $\ell_1$-正則化付き行列因子分解アプローチの性能は、従来のDAG学習手法と比較して、グラフ回復性能および計算速度の面でどう異なるか？
• RQ3 非巡回性を明示的に制約しないにもかかわらず、本手法がどれほど非巡回に近いグラフを生成するか？
• RQ4 制約ベースの手法とは異なり、本手法はグラフ構造と潜在的なSEMパラメータの両方を推定できるか？

主な発見

• 提案手法は、合成データおよび実世界データの両方において、最先端のアルゴリズムと比較して競争力のあるDAG回復性能を達成している。
• 実行時間の比較により、従来のスコアベースおよび制約ベースのDAG学習アルゴリズムよりも著しく高速であることが示された。
• 非巡回性制約を明示的に課さないにもかかわらず、最適化プロセスは一貫してほぼ非巡回なグラフを生成しており、$\ell_1$正則化が非巡回性を暗黙的に促進している可能性を示唆している。
• 制約ベースの手法とは異なり、$A$ 行列を介して全モデルパラメータを推定でき、係数行列 $\Lambda$ の回復が可能である。
• 正則化の強さにかかわらずロバストであり、ブートストラップを用いた正則化パスの計算や安定選択が効率的に行える。
• 実装は計算的に効率的であり、反復ごとのコストはスパarsityやサンプルサイズに依存せず、$p$ のみに依存するため、大規模問題に適している。