[论文解读] Bayesian Structure Learning with Generative Flow Networks

Tristan Deleu, António Góis+5 more|arXiv (Cornell University)|Feb 28, 2022

Topic Modeling被引用 21

一句话总结

DAG-GFlowNet 使用 Generative Flow Networks 来近似后验分布在 DAGs 上，用于贝叶斯结构学习，提供 iid DAG 样本，并在模拟和真实数据上相较 MCMC 和变分方法具有竞争力的准确性。

ABSTRACT

In Bayesian structure learning, we are interested in inferring a distribution over the directed acyclic graph (DAG) structure of Bayesian networks, from data. Defining such a distribution is very challenging, due to the combinatorially large sample space, and approximations based on MCMC are often required. Recently, a novel class of probabilistic models, called Generative Flow Networks (GFlowNets), have been introduced as a general framework for generative modeling of discrete and composite objects, such as graphs. In this work, we propose to use a GFlowNet as an alternative to MCMC for approximating the posterior distribution over the structure of Bayesian networks, given a dataset of observations. Generating a sample DAG from this approximate distribution is viewed as a sequential decision problem, where the graph is constructed one edge at a time, based on learned transition probabilities. Through evaluation on both simulated and real data, we show that our approach, called DAG-GFlowNet, provides an accurate approximation of the posterior over DAGs, and it compares favorably against other methods based on MCMC or variational inference.

研究动机与目标

• 通过给定数据推断 DAG 的分布来激发贝叶斯结构学习，捕捉知识性不确定性（epistemic uncertainty）。
• 提出一种 Generative Flow Network (GFlowNet) 方法来近似 DAG 的后验，确保无环性通过构造实现。
• 发展改进的 GFlowNet 概念（flow-matching、detailed-balance）以及用于图的分层前向传输模型。
• 在模拟线性高斯网络和真实流式细胞术数据上证明 DAG-GFlowNet 的有效性，包括干预设置。

提出的方法

• 将 DAG 的后验建模为一个 GFlowNet，其中 DAG 是状态，边表示添加一个边。
• 使用基于 flow-matching 或 detailed-balance 的目标，使采样概率与回报 R(G) 成正比。
• 将回报 R(G) 定义为贝叶斯分数 R(G)=P(G)P(D|G)，具模组先验和边际似然。
• 用分层神经网络参数化前向转移 Pθ(G'|G)（终止头和边添加头）并使用掩码强制 DAG 有效性；为可扩展性采用 Linear Transformer 架构。
• 使用回放缓冲器、局部分数差 delta scores（局部分数差）以及稳定性用目标网络进行离策略学习。
• 通过动作掩码和图结构确保采样过程来自 DAG 空间且无环性被保证。

实验结果

研究问题

• RQ1 生成式流网络是否可以在给定数据的前提下近似 DAG 的后验分布？
• RQ2 DAG-GFlowNet 是否从目标后验中产生 iid 的 DAG 样本，并通过构造方式遵守无环性约束？
• RQ3 在合成和真实数据（包括干预设置）上，DAG-GFlowNet 相对于 MCMC 和变分方法的表现如何？
• RQ4 模组分数（BDe/BGe）对后验近似的效率和准确性有何影响？
• RQ5 该方法是否可扩展到更大的图并真实地恢复真实 DAG 的结构特征（边、路径、马尔可夫毯）？

主要发现

Method	E-# Edges	E-SHD	AUROC
MC 3	10.96±0.09	22.66±0.11	0.508
Gadget	10.59±0.09	21.77±0.10	0.479
Bootstrap GES	11.11±0.09	23.07±0.11	0.548
Bootstrap PC	7.83±0.04	20.65±0.06	0.520
DiBS	12.62±0.16	23.32±0.14	0.518
BCD Nets	4.14±0.09	18.14±0.09	0.510
DAG-GFlowNet	11.25±0.09	22.88±0.10	0.541

• DAG-GFlowNet 能准确近似 DAG 的后验分布，与小图的精确后验结构特征存在强相关性。
• 在 d=20 的模拟线性高斯网络上，DAG-GFlowNet 在 E-SHD 和 AUROC 上具有可与 MCMC 基线相当甚至更优的表现，同时保持未见数据的预测对数似然性。
• 在真实的流式细胞术数据（Sachs 等人 2005）上，DAG-GFlowNet 在 E-# Edges、E-SHD 和 AUROC 方面与 MCMC 和变分基线相比具有竞争力，显示出有利的权衡。
• 该方法覆盖多个马尔可夫等价 class 和 DAG，而不是收敛到单一图，显示出对不确定性的有意义表示。
• 利用干预数据，该框架可以将 BDe 分数与观测与干预证据结合起来用于结构学习。
• DAG-GFlowNet 通过分层前向模型和线性 Transformer 主干实现可扩展性，从而在保持 DAG 有效性的同时应用于更大图。