[论文解读] DAGs with No Fears: A Closer Look at Continuous Optimization for Learning Bayesian Networks

Dennis Wei, Tian Gao+1 more|arXiv (Cornell University)|Oct 18, 2020

Bayesian Modeling and Causal Inference被引用 26

一句话总结

本文重新評估了用於貝葉斯網絡結構學習的 NOTEARS 連續優化框架，揭示其原始公式在非平凡情況下無法滿足 Karush-Kuhn-Tucker (KKT) 最優性條件。透過使用絕對值重構鄰接矩陣並推導出有效的 KKT 條件，作者設計了一種局部搜尋演算法 KKTS，該演算法在所有測試演算法中將結構漢明距離（SHD）改善至少兩倍，與現有方法結合時達到了當前最佳的準確度。

ABSTRACT

This paper re-examines a continuous optimization framework dubbed NOTEARS for learning Bayesian networks. We first generalize existing algebraic characterizations of acyclicity to a class of matrix polynomials. Next, focusing on a one-parameter-per-edge setting, it is shown that the Karush-Kuhn-Tucker (KKT) optimality conditions for the NOTEARS formulation cannot be satisfied except in a trivial case, which explains a behavior of the associated algorithm. We then derive the KKT conditions for an equivalent reformulation, show that they are indeed necessary, and relate them to explicit constraints that certain edges be absent from the graph. If the score function is convex, these KKT conditions are also sufficient for local minimality despite the non-convexity of the constraint. Informed by the KKT conditions, a local search post-processing algorithm is proposed and shown to substantially and universally improve the structural Hamming distance of all tested algorithms, typically by a factor of 2 or more. Some combinations with local search are both more accurate and more efficient than the original NOTEARS.

研究动机与目标

• 理解為何原始 NOTEARS 公式即使在高懲罰參數下，仍無法收斂至完全無環的解。
• 識別原始參數化下 NOTEARS 公式的 KKT 條件中的理論缺陷。
• 提出 NOTEARS 框架的重構，使其能產生有效的 KKT 條件以確保最優性。
• 設計一種基於推導出的 KKT 條件的局部搜尋演算法 KKTS，以提升結構準確度。
• 證明將 KKTS 與現有演算法結合，可普遍降低結構漢明距離（SHD），同時維持或提升效率。

提出的方法

• 將無環性約束推廣至一類具有正係數的矩陣多項式，並證明其跡可表徵 DAG。
• 識別出原始 NOTEARS 公式（使用平方參數）僅在平凡情況下才能滿足 KKT 條件。
• 提出一種等價重構，使用參數的絕對值定義鄰接矩陣，從而使 KKT 條件有效。
• 推導重構後問題的 KKT 條件，並證明其對局部最優性是必要條件，且在得分函數為凸時亦為充分條件。
• 設計 KKTS 演算法，透過動態增加、移除和反轉邊缺失約束來強制執行 KKT 條件，以打破環路。
• 將 KKTS 與現有演算法（如 NOTEARS、FGS、MMHC、PC）結合，以提升 SHD 而不犧牲速度。

实验结果

研究问题

• RQ1 為何原始 NOTEARS 演算法即使在高懲罰參數下，仍無法收斂至完全無環的解？
• RQ2 Karush-Kuhn-Tucker (KKT) 條件能否合理應用於 NOTEARS 公式？若不能，原因為何？
• RQ3 使用絕對值而非平方來重構鄰接矩陣，是否能形成一個具有有效 KKT 條件的良好定義優化問題？
• RQ4 KKT 條件能否被解釋為明確的邊缺失約束，以確保無環性？
• RQ5 基於 KKT 條件的局部搜尋演算法，能在多大程度上提升現有 DAG 學習方法的結構準確度？

主要发现

• 原始 NOTEARS 公式使用平方參數時，僅在平凡情況下才能滿足 KKT 條件，這解釋了其無法收斂至完全無環圖的原因。
• 使用絕對值重構的 NOTEARS 公式能產生有效的 KKT 條件，這些條件對局部最優性是必要條件，且在得分函數為凸時亦為充分條件。
• KKT 條件可被解釋為要求邊的缺失既必要又足以防止環路，從而提供了結構上的解釋。
• 所提出的 KKTS 演算法基於 KKT 條件，能在所有測試的演算法與資料集上，將結構漢明距離（SHD）至少改善兩倍。
• 將 KKTS 與 NOTEARS 結合可達成新的最優準確度，而與 FGS、MMHC 和 PC 結合亦能改善 SHD，且通常可縮短執行時間。
• KKTS 的改進效果在維度（d=10 至 d=100）、噪音類型（常態與指數分佈）及樣本數（n=d 和 n=2d）上均具有一致性。