[논문 리뷰] Unifying Generative Models with GFlowNets and Beyond

Dinghuai Zhang, Ricky T. Q. Chen외 2명|arXiv (Cornell University)|2022. 09. 06.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 샘플링을 마르코프 결정 과정으로 재정의함으로써, VAE, GAN, 노멀라이징 플로우, 순차적 모델, 에너지 기반 모델, 확산 모델 등 다양한 딥 생성 모델들을 GFlowNet 프레임워크 아래 통합한다. GFlowNet 원리에서 영감을 얻은 새로운 학습 알고리즘인 MLE-GFN을 제안하며, 이는 이미지 생성 과제에서 샘플 품질과 우도를 향상시켜 CIFAR-10에서 FID 및 NLL 지표 모두에서 베이스라인을 능가한다.

ABSTRACT

There are many frameworks for deep generative modeling, each often presented with their own specific training algorithms and inference methods. Here, we demonstrate the connections between existing deep generative models and the recently introduced GFlowNet framework, a probabilistic inference machine which treats sampling as a decision-making process. This analysis sheds light on their overlapping traits and provides a unifying viewpoint through the lens of learning with Markovian trajectories. Our framework provides a means for unifying training and inference algorithms, and provides a route to shine a unifying light over many generative models. Beyond this, we provide a practical and experimentally verified recipe for improving generative modeling with insights from the GFlowNet perspective.

연구 동기 및 목표

• 마르코프 경로의 관점에서 다양한 딥 생성 모델링 프레임워크를 공통의 확률적 추론 프레임워크 아래 통합하기.
• 마르코프 경로의 관점에서 기존 생성 모델들 간의 공통된 구조적 및 알고리즘적 특징을 규명하기.
• GFlowNet의 통찰을 활용하여 실용적이고 실험적으로 검증된 학습 레시피인 MLE-GFN을 개발하기.
• GFlowNet 원리가 기존 모델(예: DDPM)을 향상시킬 수 있음을 보여주며, 분산 매개변수를 학습하기 위해 일致성 목표를 도입하기.

제안 방법

• 샘플링 경로가 상태 전이에 대한 확률적 정책에 의해 지배되는 마르코프 결정 과정으로서 생성 모델링을 수식화한다.
• 기존 모델들(예: VAE, GAN, 노멀라이징 플로우, 순차적 모델, 에너지 기반 모델, 확산 모델)을 특정 정책 파arameterization을 가진 GFlowNet의 특수 케이스로 재해석한다.
• 최대우도 추정과 GFlowNet에서 영감을 얻은 경로 학습을 조합한 MLE-GFN 학습 알고리즘을 제안하며, 이는 정방향 및 역방향 정책의 동시 최적화를 가능하게 한다.
• DDPM의 노이즈 스케줄(분산 매개변수)을 학습하기 위해 일치성 목표를 적용하여 고정된 β 값을 '해동'함으로써 표현력과 샘플 품질을 향상시킨다.
• 우도 추정을 위해 변분 하한을 사용하고, 정책 학습을 정규화하기 위해 일치성 목표를 도입하여 일반화 성능을 향상시킨다.
• 학습 및 추론을 모두 경로 최적화 문제로 간주하는 통합 목표를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 마르코프 경로 기반의 단일 확률적 프레임워크 아래 다양한 딥 생성 모델들을 어떻게 통합할 수 있는가?
• RQ2 VAE, GAN, 노멀라이징 플로우, 순차적 모델, 확산 모델 등의 모델들이 GFlowNet 시각에서 볼 때 공통적으로 가지는 구조적 및 알고리즘적 구성 요소는 무엇인가?
• RQ3 GFlowNet의 통찰이 샘플 품질과 우도 측면에서 기존 생성 모델 베이스라인을 향상시킬 수 있는가?
• RQ4 GFlowNet 프레임워크는 기존에 고정된 초모수(예: 노이즈 분산)를 학습함으로써 확산 모델을 어떻게 향상시킬 수 있는가?
• RQ5 GFlowNet 이론에서 유도된 실용적인 학습 레시피는 이산 및 연속 생성 모델링 과제 전반에서 성능 향상에 어떻게 기여할 수 있는가?

주요 결과

• 제안된 MLE-GFN 알고리즘은 CIFAR-10에서 기존 베이스라인을 능가하여 FID 10.062와 NLL 4.157을 기록했으며, 원본 DDPM 베이스라인과 개선된 DDPM(iDDPM) 모두를 두 지표에서 앞서간다.
• MLE-GFN은 샘플 품질(FID)과 우도(NLL) 사이의 더 나은 트레이드오���을 달성했으며, iDDPM가 우도를 향상시키기 위해 샘플 품질을 약화시키는 데 반해 더 우수한 성능을 보였다.
• 사전 학습된 DDPM 모델에서 미세조정을 수행한 결과, MLE-GFN은 학습 단계가 진행됨에 따라 일관되게 우도가 향상되었으며, 그림 1에서 볼 수 있듯이 NLL 값이 낮아지는 경향을 보였다.
• 이론적 분석을 통해 DDPM이 정방향 및 역방향 정책이 특정 가우시안 분포로 파arameterized된 경우 GFlowNet의 특수 케이스임을 확인했다.
• 일치성 목표를 통해 DDPM에서 이전에 고정된 분산 매개변수(βi)를 학습할 수 있게 되었으며, 이는 안정성에 손상 없이 표현력과 샘플 품질을 향상시켰다.
• 실험 결과 MLE-GFN이 이산 및 연속 이미지 모델링 과제 전반에서 성능 향상을 이룩했으며, 이는 그 일반화 가능성에 대한 검증을 제공한다.