[논문 리뷰] Bayesian Structure Learning with Generative Flow Networks

Tristan Deleu, António Góis외 5명|arXiv (Cornell University)|2022. 02. 28.

Topic Modeling인용 수 21

한 줄 요약

DAG-GFlowNet은 Generative Flow Networks를 사용하여 Bayesian structure learning에서 DAG의 포스트리에를 근사하고, iid DAG 샘플과 MCMC 및 변분 방법에 비해 시뮬레이션 및 실제 데이터에서 경쟁력 있는 정확성을 제공합니다.

ABSTRACT

In Bayesian structure learning, we are interested in inferring a distribution over the directed acyclic graph (DAG) structure of Bayesian networks, from data. Defining such a distribution is very challenging, due to the combinatorially large sample space, and approximations based on MCMC are often required. Recently, a novel class of probabilistic models, called Generative Flow Networks (GFlowNets), have been introduced as a general framework for generative modeling of discrete and composite objects, such as graphs. In this work, we propose to use a GFlowNet as an alternative to MCMC for approximating the posterior distribution over the structure of Bayesian networks, given a dataset of observations. Generating a sample DAG from this approximate distribution is viewed as a sequential decision problem, where the graph is constructed one edge at a time, based on learned transition probabilities. Through evaluation on both simulated and real data, we show that our approach, called DAG-GFlowNet, provides an accurate approximation of the posterior over DAGs, and it compares favorably against other methods based on MCMC or variational inference.

연구 동기 및 목표

• 데이터를 주어진 DAG들에 대한 분포를 추론하여 인식 가능한 불확실성(epistemic uncertainty)을 포착하는 Bayesian 구조 학습에 동기를 부여한다.
• GFlowNet 접근법을 제안하여 DAG들에 대한 포스트리에를 근사하고, 구조학성(acyclicity)을 구성에 의해 보장한다.
• flow-matching, detailed-balance 등 개선된 GFlowNet 개념과 그래프에 대한 계층적 순방향 전이 모델을 개발한다.
• 해석 가능성을 보이는 선형-가우시안 네트워크의 시뮬레이션 및 실제 흐름 세포형 데이터에서 DAG-GFlowNet의 효능을 입증한다. interventional 설정 포함

제안 방법

• 포스텝에서 DAG를 상태로 두고 간선을 하나 추가하는 것이 간선-추가에 해당하도록 DAG의 사후분포를 GFlowNet으로 모델링한다.
• 보상 R(G)에 비례하도록 샘플링 확률을 보장하기 위한 flow-matching 또는 detailed-balance 기반 목표를 사용한다.
• 보상 R(G)를 베이지안 점수로 정의한다, R(G)=P(G)P(D|G), 모듈러 사전분포와 주변가능도(Marginal likelihood)를 포함한다.
• forward 전이 Pθ(G'|G)를 계층적 신경망(종료 헤드와 간선 추가 헤드)과 DAG 유효성을 강제하는 마스크로 매개화하고, 확장성을 위한 Linear Transformer 아키텍처를 활용한다.
• 오프-폴리시 학습과 재생 버퍼, 로컬 점수 차이(delta scores), 안정성을 위한 타깃 네트워크를 사용하여 학습한다.
• 샘플링 과정이 DAG 공간에서 샘플을 생성하도록 보장하고, 작업 마스킹과 그래프 구조에 의해 무사건 구성성(acyclicity)을 보장한다.

실험 결과

연구 질문

• RQ1 GFlowNet이 데이터 주어졌을 때 DAG들에 대한 포스트리에 분포를 근사할 수 있는가?
• RQ2 DAG-GFlowNet이 타깃 포스트리에에서 iid DAG 샘플을 생성하고 구성에 의해 무사건 구성성(acyclicity) 제약을 지키는가?
• RQ3 DAG-GFlowNet이 합성 및 실제 데이터에서 MCMC 및 변분 방법에 비해 어떻게 성능을 보이며 interventional 설정을 포함하는가?
• RQ4 모듈러 점수(BDe/BGe)가 포스트리에 근사 효율성과 정확도에 어떤 영향을 미치는가?
• RQ5 더 큰 그래프에서도 확장 가능하며 실제 DAG의 구조적 특징(간선, 경로, Markov 담요)을 충실히 복원할 수 있는가?

주요 결과

Method	E-# 간선	E-SHD	AUROC
MC 3	10.96±0.09	22.66±0.11	0.508
Gadget	10.59±0.09	21.77±0.10	0.479
Bootstrap GES	11.11±0.09	23.07±0.11	0.548
Bootstrap PC	7.83±0.04	20.65±0.06	0.520
DiBS	12.62±0.16	23.32±0.14	0.518
BCD Nets	4.14±0.09	18.14±0.09	0.510
DAG-GFlowNet	11.25±0.09	22.88±0.10	0.541

• DAG-GFlowNet은 DAG들에 대한 포스트리에에 대해 정확한 근사를 제공하며, 작은 그래프의 경우 정확한 포스트리에 구조 특성과의 강한 상관관계를 보인다.
• d=20인 선형-가우시안 네트워크에서 DAG-GFlowNet은 E-SHD 및 AUROC에서 MCMC 베이스라인과 경쟁하거나 더 우수하며, 보류된 예측 로그 가능도도 손실하지 않는다.
• 실제 흐름 세포형 데이터(Sachs et al. 2005)에서 DAG-GFlowNet은 MCMC 및 변분 베이스라인에 비해 경쟁력 있는 E-# Edges, E-SHD, AUROC를 달성하며 유리한 트레이드오프를 보인다.
• 메서드는 여러 마르코프 등가 클래스와 DAG를 하나의 그래프로 축약하지 않고 복수의 가능성을 다루어 의미 있는 불확실성 표현을 나타낸다.
• 개입 데이터 사용 시, 프레임워크가 관측 데이터와 개입 증거를 결합하기 위해 BDe 점수를 구조 학습에 맞게 조정할 수 있다.
• 계층적 순방향 모델과 선형 Transformer 백본을 통해 DAG-GFlowNet은 더 큰 그래프에 대한 응용이 가능하도록 확장성을 갖추며 DAG 유효성도 유지한다.