[논문 리뷰] Generative Flow Networks for Discrete Probabilistic Modeling

Dinghuai Zhang, Nikolay Malkin외 4명|arXiv (Cornell University)|2022. 02. 03.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 고차원 이산 확률 모델링을 위한 동시 학습 프레임워크인 에너지 기반 생성 흐름 네트워크(EB-GFN)를 소개한다. EB-GFN은 생성 흐름 네트워크(GFlowNet) 샘플러와 에너지 함수를 동시에 학습시켜, 이산 데이터에서 상태 공간의 모드 간 혼합이 잘 이루어지는 효율적인 대규모 블록 MCMC 제안을 가능하게 한다. GFlowNet의 조합적 구조를 활용함으로써, MNIST 및 다이내믹 MNIST와 같은 이산 데이터에서 최고 성능을 달성한다.

ABSTRACT

We present energy-based generative flow networks (EB-GFN), a novel probabilistic modeling algorithm for high-dimensional discrete data. Building upon the theory of generative flow networks (GFlowNets), we model the generation process by a stochastic data construction policy and thus amortize expensive MCMC exploration into a fixed number of actions sampled from a GFlowNet. We show how GFlowNets can approximately perform large-block Gibbs sampling to mix between modes. We propose a framework to jointly train a GFlowNet with an energy function, so that the GFlowNet learns to sample from the energy distribution, while the energy learns with an approximate MLE objective with negative samples from the GFlowNet. We demonstrate EB-GFN's effectiveness on various probabilistic modeling tasks. Code is publicly available at https://github.com/zdhNarsil/EB_GFN.

연구 동기 및 목표

• 잘 분리된 모드를 가진 고차원 이산 분포를 모델링할 때 MCMC 방법의 느린 혼합 문제를 해결한다.
• 복잡한 에너지 표면에서의 열악한 MCMC 탐색으로 인해 발생하는 에너지 기반 모델(EBM)의 허구적 모드 문제를 극복한다.
• GFlowNet가 생성한 음성 샘플을 사용하는 대비 기반 목적함수를 통해 생성 흐름 네트워크(GFlowNet)와 에너지 함수의 동시 학습을 가능하게 한다.
• GFlowNet의 조합적 구조를 활용해 잠재적 구조에 대한 사전 지식 없이도 데이터 모드 간의 일반화를 가능하게 한다.
• 비용이 많이 드는 MCMC 탐색을 고정된 수의 GFlowNet 동작으로 약간의 비용으로 수행할 수 있는 확장 가능한 종단 간 프레임워크를 개발한다.

제안 방법

• 부분 상태의 DAG 위에서 이산 데이터에 대한 비자기적 순차적 생성을 GFlowNet으로 설정하며, 정방향(페인팅) 및 역방향(지우기) 확률적 정책을 사용한다.
• GFlowNet의 정방향 및 역방향 정책을 사용하여 메트로폴리스-하스팅스 MCMC의 마코프 체인 제안을 구성함으로써, 모드 간에 큰, 낮은 기각률을 가진 점프를 가능하게 한다.
• 에너지 함수는 GFlowNet에서 생성한 음성 샘플을 사용하여 업데이트되고, GFlowNet는 에너지 분포에서 샘플링하도록 학습되도록, 대비 목적함수를 통해 GFlowNet와 에너지 함수를 동시에 학습시킨다.
• 학습 안정성을 위해 재생 버퍼와 PCD-유사 학습(비디오 100)을 사용하며, 검증 NLL 기반으로 모델 선택을 수행한다.
• 충분한 GFlowNet 수렴 조건 하에서, 동시 학습 절차가 진짜 데이터의 로그 가능도 기울기를 추정함을 보장한다.
• 이중화된 MNIST 및 합성 구조적 데이터와 같은 이산 데이터에 프레임워크를 적용하며, 궤적 흐름을 사용하여 비정규화된 밀도를 모델링한다.

실험 결과

연구 질문

• RQ1 GFlowNet가 고정된 에너지 함수가 아닌 데이터로부터 학습할 수 있도록 조정되어, 샘플러와 에너지 모델의 동시 학습이 가능한가?
• RQ2 GFlowNet 기반의 MCMC 제안이 대규모 블록 지그버그 샘플링을 근사하고, 잘 분리된 모드 간의 혼합을 이산 분포에서 크게 향상시킬 수 있는가?
• RQ3 GFlowNet와 에너지 함수의 동시 학습이 기존 EBM 베이스라인에 비해 이산 데이터에서 더 나은 가능도 성능을 내는가?
• RQ4 GFlowNet의 조합적 구조가 명시적 구조적 사전 지식 없이도 낮은 확률 경로가 길어도 모드 간 일반화를 가능하게 하는가?
• RQ5 제안된 프레임워크는 이진화된 이미지 및 구조적 시퀀스와 같은 실제 이산 데이터에 대해 확장 가능하고 효과적인가?

주요 결과

• EB-GFN은 테스트한 네 개의 데이터셋 중 세 개에서 최고 성능의 음의 로그 가능도(NLL) 성능을 달성하며, GWG 기준선을 뛰어넘었다.
• 다이내믹 MNIST 데이터셋에서, EB-GFN은 기존의 지그버그 샘플링과 GWG보다 더 나은 모드 커버리지와 세부 사양의 정확도를 보였으며, 특히 드문 또는 복잡한 패턴을 잘 포착했다.
• GFlowNet 기반의 MCMC 제안은 모드 간에 효율적인 큰 점프를 가능하게 하여, 기존의 국소 MCMC 방법 대비 혼합 시간을 줄였다.
• GFlowNet가 생성한 음성 샘플을 사용한 동시 학습은 EBM 학습을 안정화시키고, 기존 EBM 학습에서 흔히 발생하는 허구적 모드 문제를 완화시켰다.
• 복잡하고 다중 모드를 가진 합성 데이터셋에서도 경쟁 가능한 성능을 보이며, 조합적 모드 폭발 문제에 대한 강건성을 입증했다.
• 학습된 GFlowNet 자체가 MCMC에 의존하지 않고도 고품질의 샘플을 생성할 수 있는 강력한 생성 모델로 기능한다.