[論文レビュー] Structure learning in polynomial time: Greedy algorithms, Bregman information, and exponential families

Goutham Rajendran, Bohdan Kivva+2 more|arXiv (Cornell University)|Oct 10, 2021

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、指数型分布族から導かれるブレグマン情報スコアを活用することで、多項式時間でベイジアンネットワーク構造を学習する頂点グリーディな前向き後向きアルゴリズムを提案する。GESのようなエッジグリーディな手法とは異なり、本アルゴリズムは証明可能な多項式時間計算量を達成し、適切なスコア関数のもとで真のDAGを回復可能であり、順序ベースとスコアベースのアプローチを統合する一方で、多様な分布において優れた実験的性能を示す。

ABSTRACT

Greedy algorithms have long been a workhorse for learning graphical models, and more broadly for learning statistical models with sparse structure. In the context of learning directed acyclic graphs, greedy algorithms are popular despite their worst-case exponential runtime. In practice, however, they are very efficient. We provide new insight into this phenomenon by studying a general greedy score-based algorithm for learning DAGs. Unlike edge-greedy algorithms such as the popular GES and hill-climbing algorithms, our approach is vertex-greedy and requires at most a polynomial number of score evaluations. We then show how recent polynomial-time algorithms for learning DAG models are a special case of this algorithm, thereby illustrating how these order-based algorithms can be rigourously interpreted as score-based algorithms. This observation suggests new score functions and optimality conditions based on the duality between Bregman divergences and exponential families, which we explore in detail. Explicit sample and computational complexity bounds are derived. Finally, we provide extensive experiments suggesting that this algorithm indeed optimizes the score in a variety of settings.

研究の動機と目的

• DAGの構造学習における従来のグリーディスコアベースのアルゴリズム（例：GES）に多項式時間の保証が欠如している問題に対処すること。
• 一般のグリーディフレームワークを用いて、順序ベースのアルゴリズム（例：順序探索）とスコアベースの手法を統合すること。
• 多項式時間最適化に適した分布に依存しない新しいスコア関数の族を構築すること。
• NP困難性を考慮しても、特定の条件下でスコア関数をグローバルに最適化できることを理論的および実験的に示すこと。
• さまざまな指数型分布族モデルにおける、提案されたアルゴリズムの計算的・標本的複雑度の境界を確立すること。

提案手法

• 頂点を位相順に追加する頂点グリーディな前向き後向きアルゴリズムを導入し、エッジではなく頂点を扱うことで、スコア評価回数を変数数の多項式に削減する。
• Bregman発散と指数型分布族の双対性に基づく一般化スコア関数を定義し、分布フリーなスコア評価を可能にする。
• 局所スコアの推定に一般化加法モデル（GAM）または通常最小二乗法を用い、後退段階では有意性の閾値を用いて非有意なエッジを削除する。
• 適切なスコア関数を選択することで、既存の順序ベースのアルゴリズム（例：[22, 10, 23] からのもの）を提案フレームワークの特別なケースとして再解釈する。
• 二段階のグリーディ戦略を採用：前向き段階では位相順に頂点を追加し、後退段階では有意性の閾値を用いて非有意なエッジを削除する。
• 線形、ガウス、スチューデントt、ガブミエルノイズモデルに本アルゴリズムを適用し、SHDおよびBregmanスコア指標を用いてGobnilp、NOTEARS、GDS、GESと広範な比較を実施。

実験結果

リサーチクエスチョン

• RQ1 DAG構造学習のためのグリーディアルゴリズムは、一貫性と最適性を保ちつつ、多項式時間計算量を達成できるか？
• RQ2 順序ベースのアルゴリズムは、スコアベース最適化フレームワークとどのように正式に結びつけられるか？
• RQ3 どのスコア関数の族が、ベイジアンネットワークスコアの多項式時間グローバル最適化を可能にするか？
• RQ4 一般問題のNP困難性を考慮しても、提案されたアルゴリズムは実際のスコア関数をグローバルに最適化できるか？
• RQ5 提案されたBregman情報スコアは、さまざまなノイズ分布および標本サイズにおいてどのように性能を発揮するか？

主な発見

• 提案された頂点グリーディなアルゴリズムは、最大で多項式回のスコア評価で済み、GESのようなエッジグリーディ手法に比べて顕著な改善を示す。
• 適切な仮定のもとで、指数型分布族から導かれるBregman情報スコアを用いることで、真のDAG構造が証明可能に回復可能である。
• 実験結果から、ガウス、t、ガブミエル分布の複数のノイズ分布および次元（d=20,30）において、SHDがGES、GDS、NOTEARSを下回ることが示された。
• 推定されたDAGのBregmanスコアは、各前向き段階で単調に増加し、後退段階で安定化する傾向を示しており、効果的なスコア最適化が行われていることが裏付けられた。
• d>10の大きなグラフにおいて、Gobnilpに比べて計算効率に優れ、SHDおよびスコア値においても競争力のある性能を示した。
• 非ガウスノイズに対してもロバストであることが実証され、ガウス、t、ガブミエル分布のノイズに対して一貫した性能を発揮した。これは、広範な適用可能性を示唆している。