[論文レビュー] Bayesian Structure Learning with Generative Flow Networks

Tristan Deleu, António Góis+5 more|arXiv (Cornell University)|Feb 28, 2022

Topic Modeling被引用数 21

ひとこと要約

DAG-GFlowNet は Generative Flow Networks を用いてベイズ構造学習の後方分布を近似し、DAG の独立同分布サンプルを提供するとともに、シミュレーションデータおよび実データで MCMC や変分法と競合する精度を示す。

ABSTRACT

In Bayesian structure learning, we are interested in inferring a distribution over the directed acyclic graph (DAG) structure of Bayesian networks, from data. Defining such a distribution is very challenging, due to the combinatorially large sample space, and approximations based on MCMC are often required. Recently, a novel class of probabilistic models, called Generative Flow Networks (GFlowNets), have been introduced as a general framework for generative modeling of discrete and composite objects, such as graphs. In this work, we propose to use a GFlowNet as an alternative to MCMC for approximating the posterior distribution over the structure of Bayesian networks, given a dataset of observations. Generating a sample DAG from this approximate distribution is viewed as a sequential decision problem, where the graph is constructed one edge at a time, based on learned transition probabilities. Through evaluation on both simulated and real data, we show that our approach, called DAG-GFlowNet, provides an accurate approximation of the posterior over DAGs, and it compares favorably against other methods based on MCMC or variational inference.

研究の動機と目的

• データからの情報を用いて DAG の分布を推定し、 epistemic 不確実性を捉えることでベイズ的な構造学習を動機づける。
• 後方分布 over DAGs を近似する Generative Flow Network (GFlowNet) アプローチを提案し、構築的に非循環性を担保する。
• グローバルな forward-transition モデルを用いた階層的な GFlowNet の概念（flow-matching、detailed-balance）とグラフ向けの階層的 forward-transition モデルを開発する。
• シミュレーションされた線形ガウスネットワークおよび実データのフローサイトメトリーデータを含む介入設定を含め、DAG-GFlowNet の有効性を実証する。

提案手法

• DAG の後方分布を DAG が状態、辺が単一の辺を追加することに対応するような GFlowNet としてモデル化する。
• 報酬 R(G) に比例したサンプリング確率を確保するため、flow-matching または detailed-balance ベースの目的を用いる。
• 報酬 R(G) をベイズスコアとして定義し、R(G)=P(G)P(D|G)（モジュラー事前分布と周辺尤度を用いる）とする。
• 前方遷移 Pθ(G'|G) を階層的ニューラルネットワーク（ termination head と edge-addition head）と DAG の妥当性を強制するマスクでパラメータ化し、スケーラビリティのために Linear Transformer アーキテクチャを採用する。
• リプレイバッファ、局所スコア差分 delta-scores、安定性のためのターゲットネットワークを用いたオフポリシー学習で訓練する。
• アクションマスキングとグラフ構造により、DAG 空間からのサンプリングが循環性なしで得られることを保証する。

実験結果

リサーチクエスチョン

• RQ1 データを与えられたとき Generative Flow Network は DAGs の後方分布を近似できるのか。
• RQ2 DAG-GFlowNet はターゲット後方から iid の DAG サンプルを生み出し、構築的に非循環性制約を満たすのか。
• RQ3 DAG-GFlowNet は synthetic および real data の両方で MCMC および変分法と比較してどのような性能を示すのか（介入設定を含む）？
• RQ4 モジュラー・スコア（BDe/BGe）が後方推定の効率と精度に与える影響はどの程度か。
• RQ5 方法はより大きなグラフへスケールし、真の DAG の構造特徴（エッジ、経路、マルコフブランケット）を忠実に回復できるのか。

主な発見

Method	E-# Edges	E-SHD	AUROC
MC 3	10.96±0.09	22.66±0.11	0.508
Gadget	10.59±0.09	21.77±0.10	0.479
Bootstrap GES	11.11±0.09	23.07±0.11	0.548
Bootstrap PC	7.83±0.04	20.65±0.06	0.520
DiBS	12.62±0.16	23.32±0.14	0.518
BCD Nets	4.14±0.09	18.14±0.09	0.510
DAG-GFlowNet	11.25±0.09	22.88±0.10	0.541

• DAG-GFlowNet は DAG の後方分布の正確な近似を提供し、比較的小さなグラフでは正確な後方構造特徴と強い相関を示す。
• d=20 の線形ガウスネットワークのシミュレーションでは、DAG-GFlowNet は E-SHD および AUROC で MCMC ベースラインと競合するかそれより優れており、保持データの予測対数尤度を損なわない。
• 実データのフローサイトメトリー（Sachs ら 2005）では、DAG-GFlowNet は MCMC および変分法ベースラインと比較して E-# Edges、E-SHD、AUROC の点で競争力があり、トレードオフが有利であることを示す。
• この手法は単一のグラフに収束せず、複数のマルコフ同値類と DAG をカバーしており、意味のある不確実性の表現を示す。
• 介入データを用いることで、構造学習のための BDe スコアを観測データと介入証拠を組み合わせる形に適用できる。
• 階層的 forward モデルと linear Transformer ベースのバックボーンにより、DAG-GFlowNet はより大規模なグラフへスケールしつつ DAG の妥当性を保つことが可能である。