[論文レビュー] Selective Greedy Equivalence Search: Finding Optimal Bayesian Networks Using a Polynomial Number of Score Evaluations

David Maxwell Chickering, Christopher Meek|arXiv (Cornell University)|Jun 6, 2015

Bayesian Modeling and Causal Inference参考文献 21被引用数 6

ひとこと要約

本稿では、選択的グリーディ同等性探索（SGES）を紹介する。SGESは、グリーディ同等性探索（GES）の多項式時間版であり、遺伝的かつ同等性保存性を持つグラフ特性に基づいてエッジ削除作用素を制限することで、大標本の一貫性を維持する。SGESは、有界なv幅、最大親数、またはクリークサイズといった制約が満たされる場合、スコア評価を多項式時間に削減しながら漸近的最適性を保証する。

ABSTRACT

We introduce Selective Greedy Equivalence Search (SGES), a restricted version of Greedy Equivalence Search (GES). SGES retains the asymptotic correctness of GES but, unlike GES, has polynomial performance guarantees. In particular, we show that when data are sampled independently from a distribution that is perfect with respect to a DAG ${\cal G}$ defined over the observable variables then, in the limit of large data, SGES will identify ${\cal G}$'s equivalence class after a number of score evaluations that is (1) polynomial in the number of nodes and (2) exponential in various complexity measures including maximum-number-of-parents, maximum-clique-size, and a new measure called {\em v-width} that is at least as small as---and potentially much smaller than---the other two. More generally, we show that for any hereditary and equivalence-invariant property $Π$ known to hold in ${\cal G}$, we retain the large-sample optimality guarantees of GES even if we ignore any GES deletion operator during the backward phase that results in a state for which $Π$ does not hold in the common-descendants subgraph.

研究の動機と目的

• ベイジアンネットワークの学習におけるグリーディ同等性探索（GES）の指数的最悪ケース複雑性に対処すること。
• 現実的な構造的制約下で多項式時間性能を保証するGESの変種を開発すること。
• グラフ理論的性質を用いた探索空間の制限により、GESの大きな標本の一貫性を維持すること。
• 最大親数やクリークサイズよりもタイトな性能バインディングを可能にする新たな複雑度測度、v幅を導入すること。
• 既知の構造的特性に反する削除作用素を無視しても、SGESが漸近的正しさを維持することを証明すること。

提案手法

• アルゴリズムは、共通の子孫部分グラフにおいて既知の遺伝的かつ同等性保存性を持つ性質Πに違反する状態を生じるエッジ削除作用素を除外することで、GESのバックワード段階を制限する。
• v幅—エッジ削減のための新しいグラフ複雑度測度—を導入し、これは常に最大クリークサイズおよび各ノードの最大親数以下である。
• バックワード段階では、X、Yおよびそれらの共通の子孫の誘導部分グラフ上でΠを保存する削除のみを考慮する。
• 構造的制約（例：有界なv幅）が満たされる限り、スコア評価の数がノード数に関して多項式的であることを保証する。
• 任意の有効な削除作用素が効率的に特定可能であり、かつそのような作用素が漸近的最適性に十分であることを示す理論的結果に依存する。
• フォワード段階は明示的に定義されていないが、スコア呼び出し回数が多項式的である任意の実装に対して分析は成り立つ。

実験結果

リサーチクエスチョン

• RQ1 GESを、大標本の一貫性を保ちつつ多項式時間性能を達成できるように変更可能か？
• RQ2 どのような構造的制約が、ベイジアンネットワーク構造学習におけるスコア評価回数を多項式的に制限可能か？
• RQ3 既存の複雑度測度（最大親数やクリークサイズ）と比較して、新しいv幅測度は探索空間のバインディングにおいてどのように優れているか？
• RQ4 バックワード段階を、既知のグラフ理論的性質を保存する削除のみを考慮するように制限しても、最適性を失わないか？
• RQ5 どのような条件下で、スコア評価回数を多項式的数に制限した場合でも、最適な同値クラスが依然として特定可能と保証できるか？

主な発見

• SGESは漸近的一致性を保証する：大標本の極限において、データが真のDAG ${\cal G}$ に対して完璧である限り、正しい同値クラスを同定する。
• 生成構造のv幅、最大親数、または最大クリークサイズが有界であれば、SGESが要請するスコア評価回数はノード数に関して多項式的である。
• v幅は、最大クリークサイズおよび各ノードの最大親数以下であり、必要なスコア評価回数のバインディングをよりタイトに保証する新たな複雑度測度である。
• 共通の子孫部分グラフにおいて既知の遺伝的かつ同等性保存性を持つ性質Πに反する削除作用素を無視しても、SGESは最適性を維持する。
• 理論的分析により、制約が適用された場合、各ステップで評価すべきエッジ削除作用素の数が多項式的であることが示された。
• フォワード段階の実装にかかわらず、スコア呼び出し回数が多項式的である限り、結果は成り立つ。