[論文レビュー] Learning Big Gaussian Bayesian Networks: Partition, Estimation and Fusion

Jiaying Gu, Qing Zhou|arXiv (Cornell University)|Jan 1, 2020

Bayesian Modeling and Causal Inference被引用数 3

ひとこと要約

本稿では、数千ノードと限られたサンプルを有する大規模なガウスベイジアンネットワークの学習を目的とした、新たな分割統治フレームワーク、Partition-Estimation-Fusion (PEF) を提案する。ノードをクラスタリングし、局所構造を独立して学習し、ハイブリッドエッジ追加戦略により部分グラフを統合することで、従来手法と比較して構造学習の正確性を20%以上向上させるとともに、実行時間を最大2桁低減する。

ABSTRACT

Structure learning of Bayesian networks has always been a challenging problem. Nowadays, massive-size networks with thousands or more of nodes but fewer samples frequently appear in many areas. We develop a divide-and-conquer framework, called partition-estimation-fusion (PEF), for structure learning of such big networks. The proposed method first partitions nodes into clusters, then learns a subgraph on each cluster of nodes, and finally fuses all learned subgraphs into one Bayesian network. The PEF method is designed in a flexible way so that any structure learning method may be used in the second step to learn a subgraph structure as either a DAG or a CPDAG. In the clustering step, we adapt the hierarchical clustering method to automatically choose a proper number of clusters. In the fusion step, we propose a novel hybrid method that sequentially add edges between subgraphs. Extensive numerical experiments demonstrate the competitive performance of our PEF method, in terms of both speed and accuracy compared to existing methods. Our method can improve the accuracy of structure learning by 20% or more, while reducing running time up to two orders-of-magnitude.

研究の動機と目的

• 数千ノードを有する巨大ネットワークにおいて、限られたサンプルでベイジアンネットワーク構造を学習する課題に対処すること。
• ビッグデータにおける従来の構造学習手法の計算的・統計的限界を克服すること。
• 高い正確性を維持しながら実行時間を著しく短縮する、柔軟でスケーラブルなフレームワークを開発すること。
• 局所的な部分グラフ構造を、グローバルに一貫性を持つベイジアンネットワークに効果的に統合すること。

提案手法

• ノードをクラスタリングするため、最適なクラスタ数を自動的に特定するように適合された階層的クラスタリング手法を用いる。
• 各クラスタに対して、任意の既存の構造学習アルゴリズムを適用し、局所的な部分グラフを学習する。DAGおよびCPDAGの出力をサポートする。
• 統合プロセスにおいて、統計的基準に基づき逐次的にクラスタ間エッジを追加する、新規のハイブリッド統合戦略を採用する。
• 推定段階で、さまざまな構造学習手法を容易に統合できる柔軟な設計を採用する。
• 統合段階でのエッジ追加を、条件付き独立性検定とスコアベースの基準が導く。
• 統合プロセス中にサイクルの排除を強制することで、最終的なネットワークが有効なDAGであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 分割統治アプローチは、大規模なガウスベイジアンネットワークにおける構造学習のスケーラビリティを顕著に向上させ得るか？
• RQ2 大規模ネットワークにおいて、局所的正確性とグローバル一貫性のバランスを取るために、クラスタリングをどのように適応的に行えるか？
• RQ3 正確性と速度の観点から、ハイブリッド統合手法は、標準的な統合手法や直接学習手法をどの程度上回るか？
• RQ4 サンプルサイズがネットワークサイズに比べて小さい場合、PEFフレームワークが構造学習の正確性に及ぼす影響はいかほどか？

主な発見

• PEFフレームワークは、大規模ネットワークにおいて、ベースライン手法と比較して構造学習の正確性を20%以上向上させる。
• 実行時間は最大2桁低減され、数千ノードを有するネットワークでも効率的な学習が可能になる。
• 適応的クラスタリングステップは、事前知識が不要な状態で最適なクラスタ数を的確に特定する。
• ハイブリッド統合戦略は、サイクルの維持と構造的忠実性を保ちながら、部分グラフを効果的に統合する。
• フレームワークは柔軟性に富み、さまざまな構造学習アルゴリズムと互換性があり、実用的応用性を高める。
• 実験的結果は、多様なネットワークサイズとサンプル条件において一貫した性能向上を示している。