[論文レビュー] On the Role of Sparsity and DAG Constraints for Learning Linear DAGs

Ignavier Ng, AmirEmad Ghassami+1 more|arXiv (Cornell University)|Jun 17, 2020

Bayesian Modeling and Causal Inference参考文献 58被引用数 57

ひとこと要約

本研究はGOLEMを提案する。GOLEMはソフトスパース性とDAG制約を用いた尤度ベースのDAG学習法で、厳密な非循環性制約を回避する。識別可能・非識別可能な設定における線形DAGに対して、GPUベースのスケーラブルな最適化を用いた有効性を示す。

ABSTRACT

Learning graphical structures based on Directed Acyclic Graphs (DAGs) is a challenging problem, partly owing to the large search space of possible graphs. A recent line of work formulates the structure learning problem as a continuous constrained optimization task using the least squares objective and an algebraic characterization of DAGs. However, the formulation requires a hard DAG constraint and may lead to optimization difficulties. In this paper, we study the asymptotic role of the sparsity and DAG constraints for learning DAG models in the linear Gaussian and non-Gaussian cases, and investigate their usefulness in the finite sample regime. Based on the theoretical results, we formulate a likelihood-based score function, and show that one only has to apply soft sparsity and DAG constraints to learn a DAG equivalent to the ground truth DAG. This leads to an unconstrained optimization problem that is much easier to solve. Using gradient-based optimization and GPU acceleration, our procedure can easily handle thousands of nodes while retaining a high accuracy. Extensive experiments validate the effectiveness of our proposed method and show that the DAG-penalized likelihood objective is indeed favorable over the least squares one with the hard DAG constraint.

研究の動機と目的

• さまざまなモデル仮定の下で、線形DAGを学習する際の厳密なDAG制約と疎性の必要性を評価する。
• ソフト制約を用いた尤度ベースの連続的な無制約最適化フレームワーク（GOLEM）を開発する。
• 識別可能・非識別可能設定の下で、尤度ベースのGOLEMを回帰ベースのLS法およびNOTEARSと比較する。
• GPU加速を用いて数千ノードへのスケーラビリティを実証し、合成データおよび実データで実証的検証を行う。

提案手法

• ソフトスパース性とDAG制約を持つ尤度ベースのスコアを定式化し、重み付き隣接行列Bの無制約最適化問題に導く。
• 2つの尤度目的関数L1（分散が異なる尤度）とL2（分散が等しい尤度）を用い、l1ペナルティとDAGペナルティh(B)=tr(exp(B ∘ B)) − dを加える。
• 勾配法（Adam）で非凸最適化を解き、悪い局所極小を避けるためにGOLEM-NVをGOLEM-EVから初期化する。
• エッジ重みに対して事後処理のしきい値を適用してDAGを得た後、必要に応じて循環を取り除いてDAGを完成させる。
• 一般的なGaussianおよび識別可能なレジーム下で、疎性とDAG制約の理論的役割を分析し、ソフト制約が漸近的に十分であることを示す。

実験結果

リサーチクエスチョン

• RQ1 線形DAG学習において、硬いDAG制約はソフトな尤度ベースの制約と比較してグラフ再現性を改善するか。
• RQ2 どのモデル仮定（等 variancesのGaussian、異 variancesのGaussian、非Gaussian、LiNGAM識別性）において、疎性とDAG制約が真のグラフと同等のDAGの回復を保証するか。
• RQ3 識別可能・非識別可能Settingsにおいて、尤度ベースのGOLEMはLSベースおよびNOTEARS手法と比較して、精度とスケーラビリティの点でどうか。
• RQ4 GOLEMはGPU加速を用いて数千ノードへスケールし、ERおよびSFといったグラフタイプおよびサンプルサイズを跨って高精度を維持できるか。
• RQ5 ウェイトスケーリングと有限サンプル効果が、GOLEMとベースラインとの性能に与える影響はどれか。

主な発見

• 穏やかな仮定の下で、ソフトスパース性とDAG制約を備えたGOLEMは漸近的に地真のDAGと同等のDAGを回復する。
• Gaussian-EV設定では、疎性だけで真のDAGを回復できる。一方Gaussian-NV設定では、信頼性のある回復にはDAG正則化が必要になる。
• GOLEM-NVおよびGOLEM-EVはベースライン手法を上回り、特に大きく密なグラフで顕著で、GPU加速で数千ノードに対応できる。
• 識別可能なケース（LiNGAM様式および等ノイズGaussian）では、勾配ベースのGOLEM変種はノイズ種（Gaussian、Exponential、Gumbel）を跨って競合ベースラインを上回るか同等である。
• GOLEMはNOTEARS-L1よりスケーラビリティに優れ、グラフサイズの増加に伴って精度を維持する。GPU加速による立方時間計算に支えられている。
• ポスト処理のしきい値設定により循環を剪定して、有限サンプルでDAGペナルティを活用して有効な非循環グラフを得られる。