[논문 리뷰] Density Estimation Using Real NVP

Laurent Dinh, Jascha Sohl‐Dickstein외 1명|arXiv (Cornell University)|2016. 05. 27.

Machine Learning and Data Classification참고 문헌 54인용 수 788

한 줄 요약

이 논문은 고차원 데이터에서 tractable하고 정확한 밀도 추정, 샘플링, 잠재 변수 추론을 가능하게 하는 Real-valued Non-Volume Preserving (Real NVP) 변환을 도입하고, 강력한 이미지 모델링 성능과 의미 있는 잠재 공간을 보여준다.

ABSTRACT

Unsupervised learning of probabilistic models is a central yet challenging problem in machine learning. Specifically, designing models with tractable learning, sampling, inference and evaluation is crucial in solving this task. We extend the space of such models using real-valued non-volume preserving (real NVP) transformations, a set of powerful invertible and learnable transformations, resulting in an unsupervised learning algorithm with exact log-likelihood computation, exact sampling, exact inference of latent variables, and an interpretable latent space. We demonstrate its ability to model natural images on four datasets through sampling, log-likelihood evaluation and latent variable manipulations.

연구 동기 및 목표

• tractable한 학습, 샘플링 및 추론으로 고차원 데이터에 대한 비지도 확률 모델링 동기를 부여한다.
• 변화의 변수 공식에 의해 정확한 로그 가능도(log-likelihood)가 가능하도록 임의의 단일 방향 전환으로서의 Real NVP를 소개한다.
• 효율적인 야코비안 행렬식(det) 계산을 제공하는 invertible, 다중 스케일 커플링 기반 아키텍처를 개발한다.
• 다양한 자연 이미지 데이터셋에서 밀도 추정 및 샘플 생성을 시연한다.
• 잠재 표현이 해석 가능하고 시각화 및 조건 부여에 유용하다는 것을 보인다.

제안 방법

• biject f로 pX(x)를 pZ(f(x))로 정의하고 변화의 변수 공식으로 log pX(x)를 계산한다.
• 입력의 일부를 다른 부분에 조건부로 변환하는 affine coupling layer를 사용하여 삼각형 야코비안 행렬을 얻고 효율적인 determinant 계산을 가능하게 한다.
• 커널링(masking: checkerboard 및 채널별)을 교대로 사용하고 다중 스케일 squeeze를 적용하여 공간 해상도를 깊이에 맞춘다.
• 배치 정규화와 잔차 네트워크를 도입하여 학습 안정성과 그래디언트 흐름을 향상시킨다.
• 정기적으로 차원의 절반을 분해하는 다중 스케일 아키텍처를 사용하여 계산 비용을 제어한다.
• pZ를 등방성 가우시안 우선분포로 두고 z ~ pZ에서의 효율적이고 병렬 가능한 샘플링을 활용하여 최대우도 학습으로 학습한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 정확하고 tractable한 로그 가능도 추정을 가능하게 하는 bijective하고 비선형적인 변환이 가능한가?
• RQ2 간단한 역함수와 tractable한 야코비안으로 구성된 affine coupling layer가 밀도 추정 및 샘플 품질에 어떤 영향을 미치는가?
• RQ3 다중 스케일, 마스킹된 커플링 아키텍처가 자연 이미지에 대한 확장 가능한 학습 및 정밀한 추론을 지원하는가?
• RQ4 Real NVP가 다른 생성 모델에 비해 학습된 잠재 공간의 품질과 해석 가능성은 어떠한가?
• RQ5 표준 이미지 데이터셋에서 Real NVP의 비트/차원수 및 샘플 선명도 측면의 성능은 기존 모델과 비교해 어떠한가?

주요 결과

데이터세트	PixelRNN	Real NVP	Conv DRAW	IAF-VAE
CIFAR-10	3.00	3.49	< 3.59	< 3.28
Imagenet (32×32)	3.86 (3.83)	4.28 (4.26)	< 4.40 (4.35)
Imagenet (64×64)	3.63 (3.57)	3.98 (3.75)	< 4.10 (4.04)
LSUN (bedroom)		2.72 (2.70)
LSUN (tower)		2.81 (2.78)
LSUN (church outdoor)		3.08 (2.94)
CelebA		3.02 (2.97)

• Real NVP는 tractable한 야코비안으로 정확한 로그 가능도, 정확한 샘플링, 그리고 정확한 잠재 변수 추론을 가능하게 한다.
• Affine coupling layer는 대각 성분의 곱으로 determinant를 계산할 수 있는 삼각형 야코비안을 산출한다.
• Squeezing과 masking이 결합된 다중 스케일 아키텍처는 학습 안정성을 배치 정규화를 통해 유지하면서 이미지의 밀도 모델링 확장을 가능하게 한다.
• CIFAR-10, ImageNet(32×32 및 64×64), LSUN, CelebA에서 Real NVP는 PixelRNN 및 기타 baselines와 비교해 competitive한 비트/차원 수를 보이며 모델 용량이 커질수록 성능이 향상된다.
• 학습된 잠재 공간은 의미 있는 구조와 매끄러운 보간을 나타내며, 이는 해석 가능하고 조건 설정 및 반지도학습 환경을 뒷받침하는 의미론적으로 일관된 표현임을 시사한다.