[論文レビュー] DAGs with No Fears: A Closer Look at Continuous Optimization for Learning Bayesian Networks

Dennis Wei, Tian Gao+1 more|arXiv (Cornell University)|Oct 18, 2020

Bayesian Modeling and Causal Inference被引用数 26

ひとこと要約

この論文は、ベイジアンネットワーク構造学習のための連続最適化フレームワークである NOTEARS を再評価し、元の定式化が自明でない限りカールシュ＝クーン＝タッカー（KKT）最適性条件を満たせないことを明らかにした。絶対値を用いた隣接行列の再定式化と、有効なKKT条件の導出により、著者らは局所探索アルゴリズム KKTS を設計した。このアルゴリズムは、すべてのテストされたアルゴリズムで構造的ハミング距離（SHD）を少なくとも2倍改善し、既存の手法と組み合わせることで最先端の精度を達成した。

ABSTRACT

This paper re-examines a continuous optimization framework dubbed NOTEARS for learning Bayesian networks. We first generalize existing algebraic characterizations of acyclicity to a class of matrix polynomials. Next, focusing on a one-parameter-per-edge setting, it is shown that the Karush-Kuhn-Tucker (KKT) optimality conditions for the NOTEARS formulation cannot be satisfied except in a trivial case, which explains a behavior of the associated algorithm. We then derive the KKT conditions for an equivalent reformulation, show that they are indeed necessary, and relate them to explicit constraints that certain edges be absent from the graph. If the score function is convex, these KKT conditions are also sufficient for local minimality despite the non-convexity of the constraint. Informed by the KKT conditions, a local search post-processing algorithm is proposed and shown to substantially and universally improve the structural Hamming distance of all tested algorithms, typically by a factor of 2 or more. Some combinations with local search are both more accurate and more efficient than the original NOTEARS.

研究の動機と目的

• 元の NOTEARS 定式化が、実務的な成功にもかかわらず、正確に非巡回解に収束しない理由を理解すること。
• 元のパrameterizationのもとで、NOTEARS 定式化のKKT条件に理論的欠陥が存在するかどうかを特定すること。
• 最適性に有効なKKT条件を満たすように、NOTEARSフレームワークを再定式化すること。
• 導出されたKKT条件に基づいて、構造的正確性を向上させる局所探索アルゴリズム KKTS を設計すること。
• 既存のアルゴリズムと組み合わせた場合に、KKTSが構造的ハミング距離（SHD）を普遍的に低減し、効率を維持または向上させることを示すこと。

提案手法

• 正の係数を持つ行列多項式のクラスに非巡回性制約を一般化し、そのトレースがDAGを特徴づけることを示した。
• 元の NOTEARS 定式化（二乗パラメータを用いる）が、自明な場合を除きKKT条件を満たせないことを特定した。
• 隣接行列を定義するパラメータの絶対値を用いた同等の再定式化を提案し、有効なKKT条件を可能にした。
• 再定式化された問題のKKT条件を導出し、局所最適性に必要であることを示した。また、スコア関数が凸であれば十分であることも示した。
• KKT条件を満たすために、サイクルを解消するためにエッジ欠損制約を動的に追加・削除・逆転するKKTSアルゴリズムを設計した。
• 既存のアルゴリズム（例：NOTEARS、FGS、MMHC、PC）とKKTSを組み合わせることで、速度を損なわずにSHDを低減した。

実験結果

リサーチクエスチョン

• RQ1 元の NOTEARS アルゴリズムは、高いペナルティパラメータを用いても、なぜ正確に非巡回解に収束しないのか？
• RQ2 カールシュ＝クーン＝タッカー（KKT）条件は、NOTEARS 定式化に意味的に適用可能か？ もし不可能なら、その理由は何か？
• RQ3 二乗ではなく絶対値を用いた隣接行列の再定式化は、有効なKKT条件を持つ適切に定式化された最適化問題をもたらすか？
• RQ4 KKT条件は、サイクルを防ぐためにエッジ欠損が必須かつ十分であることを示す明示的なエッジ欠損制約として解釈可能か？
• RQ5 KKTにインformedされた局所探索アルゴリズムは、既存のDAG学習手法の構造的正確性をどの程度向上できるか？

主な発見

• 二乗パラメータを用いた元の NOTEARS 定式化は、自明な場合を除きKKT条件を満たせないため、正確に非巡回グラフに収束しないことが説明された。
• 絶対値を用いた再定式化された NOTEARS は、有効なKKT条件を満たし、これは局所最適性に必要であり、スコア関数が凸であれば十分である。
• KKT条件は、エッジ欠損がサイクルを防ぐために必要かつ十分であることを要請するものとして解釈でき、構造的解釈が可能である。
• KKT条件に基づいて設計された提案された KKTS アルゴリズムは、すべてのテストされたアルゴリズムおよびデータセットで構造的ハミング距離（SHD）を少なくとも2倍改善した。
• KKTS を NOTEARS と組み合わせることで、新たな最先端の精度を達成した。FGS、MMHC、PC ともに組み合わせることでSHDが改善され、しばしば実行時間が短縮された。
• KKTS の改善効果は、次元（d=10 から d=100）、ノイズの種類（ガウス分布および指数分布）、およびサンプルサイズ（n=d および n=2d）にわたり一貫して見られた。