[논문 리뷰] Flow++: Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design

Jonathan Ho, Xi Chen외 3명|arXiv (Cornell University)|2019. 02. 01.

Generative Adversarial Networks and Image Synthesis인용 수 188

한 줄 요약

Flow++는 변분적 디퀀타이제이션, 로지스틱 혼합 커플링 플로우, 및 자기 주의 조건화를 도입해 CIFAR-10 및 32x32/64x64 ImageNet에서 비자회귀 모델 중 최첨단 밀도 추정을 달성한다. 자동회귀 모델과의 격차를 줄이면서 빠른 샘플링을 유지한다.

ABSTRACT

Flow-based generative models are powerful exact likelihood models with efficient sampling and inference. Despite their computational efficiency, flow-based models generally have much worse density modeling performance compared to state-of-the-art autoregressive models. In this paper, we investigate and improve upon three limiting design choices employed by flow-based models in prior work: the use of uniform noise for dequantization, the use of inexpressive affine flows, and the use of purely convolutional conditioning networks in coupling layers. Based on our findings, we propose Flow++, a new flow-based model that is now the state-of-the-art non-autoregressive model for unconditional density estimation on standard image benchmarks. Our work has begun to close the significant performance gap that has so far existed between autoregressive models and flow-based models. Our implementation is available at https://github.com/aravindsrinivas/flowpp

연구 동기 및 목표

• 밀도 추정, 샘플링 속도 및 가능도 계산의 합리화를 위한 흐름 기반 모델 개선을 추진한다.
• 이전 흐름 모델에서의 세 가지 한계 설계 선택: 균일 디퀀타이제이션, 선형 커플링, 순전히 합성곱 조건화.
• Flow++를 도입해 변분 디퀀타이제이션, 로지스틱 혼합 CDF 커플링, 및 자기 주의 조건화를 통해 밀도 모델링 성능을 향상시키려 한다.
• CIFAR-10 및 ImageNet에서 비자회귀 모델로서 최첨단 밀도 추정을 입증하고, 각 설계 요소의 기여를 정량화하기 위한 절제 실험을 분석한다.

제안 방법

• 디퀀타이제이션 노이즈 q(u|x)가 조건부 흐름 q_x(u)로 모델링되고 모델 p_model과 함께 공동으로 최적화되는 변분적 디퀀타이제이션을 사용한다.
• 커플링 계층에서 선형 커플링을 표현력이 높은 로지스틱 혼합 CDF 커플링으로 대체한다.
• 커플링 파라미터를 생성하는 조건화 네트워크에 자기 주의를 도입하고, 주의 블록이 있는 게이트드 잔차 네트워크를 통해 조건화 능력을 향상시킨다.
• 가역적 흐름 구성 f = f1 ○ ... ○ fL의 정확한 로그 가능도를 계산하고 학습 및 샘플링을 위해 다항식자 determinant를 활용한다.
• 균일 디퀀타이제이션에 비해 훈련 및 일반화가 개선되는 미분 가능 디퀀타이제이션 목적을 채택한다(하한 간격 감소).
• CIFAR-10, 32x32 ImageNet, 64x64 ImageNet에서 Flow++를 평가하고 비자회귀 및 자회귀 기준선을 비교하며 디퀀타이제이션, 커플링, 조건화에 대한 절제 실험을 수행한다.

실험 결과

연구 질문

• RQ1 변분 디퀀타이제이션이 흐름 모델에서 균일 디퀀타이제이션에 비해 밀도 추정 및 일반화를 개선할 수 있는가?
• RQ2 선형 커플링을 로지스틱 혼합 CDF 커플링으로 대체하면 계산 가능성을 해치지 않으면서 표현력이 향상되는가?
• RQ3 조건화 네트워크에 자기 주의를 도입하면 조건화 능력과 밀도 모델링 성능이 향상되는가?
• RQ4 표준 이미지 벤치마크에서 자가 회귀 모델에 얼마나 근접하면서도 빠른 샘플링을 유지할 수 있는가?

주요 결과

Model family	Model	CIFAR10 (bits/dim)	ImageNet 32x32 (bits/dim)	ImageNet 64x64 (bits/dim)
비자회귀형	RealNVP (Dinh et al., 2016)	3.49	4.28	–
비자회귀형	Glow (Kingma & Dhariwal, 2018)	3.35	4.09	3.81
비자회귀형	IAF-VAE (Kingma et al., 2016)	3.11	–	–
비자회귀형	Flow++ (ours)	3.08	3.86	3.69
자회귀형	Multiscale PixelCNN (Reed et al., 2017)	–	3.95	3.70
자회귀형	PixelCNN (van den Oord et al., 2016b)	3.14	–	–
자회귀형	PixelRNN (van den Oord et al., 2016b)	3.00	3.86	3.63
자회귀형	Gated PixelCNN (van den Oord et al., 2016c)	3.03	3.83	3.57
자회귀형	PixelCNN++ (Salimans et al., 2017)	2.92	–	–
자회귀형	Image Transformer (Parmar et al., 2018)	2.90	3.77	–
자회귀형	PixelSNAIL (Chen et al., 2017)	2.85	3.80	3.52
Ablation (dequant)	Uniform dequantization	3.292	–	–
Ablation (coupling)	Affine coupling	3.200	–	–
Ablation (conditioning)	No self-attention	3.193	–	–
Ablation (full Flow++)	Flow++ (not converged for ablation)	3.165	–	–

• Flow++는 CIFAR-10 및 ImageNet(32x32 및 64x64)에서 비자회귀 모델 중 최첨단 밀도 모델링 성능을 달성한다.
• 1 샘플로 CIFAR-10에서 3.12 비트/차원을 얻고, 변분 디퀀타이제이션으로 훈련하면 균일 디퀀타이제이션에 비해 학습-검증 격차가 감소한다.
• 절개(케이스별 실험)에서 변분 디퀀타이제이션은 Flow++보다 약 0.127 비트/차원 더 비용이 들고, 로지스틱 혼합 커플링에서 선형 커플링으로의 전환은 약 0.03 비트/차원, 자기 주의 제거 역시 약 0.03 비트/차원을 더 비용으로 만든다.
• Flow++ 샘플링은 PixelCNN 계열의 자회귀 모델과 지각적으로 경쟁력이 있으며 훨씬 빠른 샘플링을 달성한다(예: CIFAR-10 샘플링 ~0.32초/8샘플, 단일 GPU).
• Flow++의 결과는 초기 자회귀 모델(PixelCNN 계열)과 경쟁적이며 이전의 비자회귀 흐름(RealNVP 및 Glow)보다 밀도 추정에서 우세하다.