[논문 리뷰] PixelVAE++: Improved PixelVAE with Discrete Prior

H. Sadeghi, Evgeny Andriyash외 3명|arXiv (Cornell University)|2019. 08. 26.

Advanced Neural Network Applications참고 문헌 60인용 수 15

한 줄 요약

PixelVAE++는 이산 잠재 변수와 제한된 볼츠만 기계(RBM) 사전을 사용하는 계층적 변분 오토인코더와 PixelCNN++ 디코더를 통합하여 이미지의 생성 모델링을 향상시킨다. 이 모델은 MNIST, Omniglot, CIFAR-10에서 최신 기술 수준의 로그우도 성능를 달성하며, 가우시안 사전보다 더 나은 분리성과 더 선명한 조건부 생성 성능를 보이며, PixelCNN++보다 25% 적은 파라미터를 사용한다.

ABSTRACT

Constructing powerful generative models for natural images is a challenging task. PixelCNN models capture details and local information in images very well but have limited receptive field. Variational autoencoders with a factorial decoder can capture global information easily, but they often fail to reconstruct details faithfully. PixelVAE combines the best features of the two models and constructs a generative model that is able to learn local and global structures. Here we introduce PixelVAE++, a VAE with three types of latent variables and a PixelCNN++ for the decoder. We introduce a novel architecture that reuses a part of the decoder as an encoder. We achieve the state of the art performance on binary data sets such as MNIST and Omniglot and achieve the state of the art performance on CIFAR-10 among latent variable models while keeping the latent variables informative.

연구 동기 및 목표

• 이미지의 전반적 구조와 국소적 구조를 동시에 모델링하는 변분 오토인코더의 성능을 향상시키기 위해.
• 자기회귀 디코더와 결합함으로써 VAE의 미세한 세부 사항 재구성 능력의 한계를 보완하기 위해.
• 특히 RBM 사전을 포함한 이산 잠재 사전의 영향이 표현 품질과 생성 성능에 미치는 영향을 조사하기 위해.
• 기본 데이터셋에서 로그우도와 분리성의 성능 유지를 또는 향상시키면서 모델 복잡도를 감소시키기 위해.
• 잠재 변수의 사전 분포를 최적화하여 더 정보가 풍부하고 선명한 조건부 생성을 가능하게 하기 위해.

제안 방법

• 512개의 연결된, 128개의 조건부, 그리고 8×8×3×(n+1)개의 공유 잠재 변수로 구성된 계층적 VAE를 도입한다.
• 이미지 픽셀의 자기회귀적 모델링을 위해 PixelCNN++ 디코더를 사용하여 국소적 세부 사항의 고해상도 재구성을 가능하게 한다.
• 디코더와 계층적 인코더 간에 대부분의 파라미터를 공유함으로써 모델 복잡도를 감소시키고 엔드 투 엔드 학습을 가능하게 한다.
• RBM 사전의 이산 잠재 변수를 통해 역전파를 수행하기 위해 Gumbel-Softmax 추정기를 통한 연속적 근사 기법을 사용한다.
• 잠재 공간 내의 복잡한 다중 모달 분포를 모델링하기 위해 완전 가시 RBM을 이산 잠재 변수의 사전으로 적용한다.
• RBM 사전을 사용한 DVAE의 학습을 가능하게 하는 이완된 목표 함수를 사용하여 기초 하한 근사(ELBO)를 최적화한다.

실험 결과

연구 질문

• RQ1 이산 잠재 사전과 자기회귀 디코더를 갖춘 VAE가 이미지 생성 작업에서 기존 모델보다 로그우도 성능에서 뛰어나게 되는가?
• RQ2 사전 선택(Gaussian 대비 RBM)이 이미지 생성에서 조건부 분포의 분리성과 선명도에 어떤 영향을 미치는가?
• RQ3 인코더와 디코더 간의 공유 파라미터가 성능을 저하시키지 않으면서 모델 복잡도를 어느 정도 감소시킬 수 있는가?
• RQ4 이산 잠재 변수가 전반적인 이미지 특징(예: 숫자 클래스, 객체 구성 등)을 효과적으로 포착할 수 있고, 자기회귀 디코더가 국소적 변형을 모델링할 수 있는가?
• RQ5 기본 가우시안 사전 대비 RBM 사전을 사용할 경우 잠재 공간의 정보성과 표현력이 향상되는가?

주요 결과

• CIFAR-10에서 PixelVAE++는 1픽셀당 2.90비트(비트/차원)의 로그우도를 달성하여 다른 잠재 변수 모델을 능가하며, 파라미터를 25% 줄인 상태에서 PixelCNN++와 동일한 성능을 기록한다.
• MNIST에서는 RBM 사전을 사용한 모델이 -78.65 bpd의 테스트 로그우도를 기록하여 가우시안 사전 버전(-78.66 bpd)보다 略적으로 우수하며, 더 낮은 KL 발산(7.62 대비 6.86)을 보이며, 이는 후행 분포와의 보다 우수한 일치를 의미한다.
• Omniglot에서는 RBM 사전 모델이 -88.29 bpd의 테스트 로그우도를 기록하여 가우시안 사전 모델(-88.65 bpd)을 능가하며, 형태 변화를 더 선명하게 포착하는 더 선명한 조건부 분포를 보인다.
• RBM 사전는 후행 분포와의 KL 발산이 낮아 잠재 공간이 더 정보가 풍부하며, 전반적인 특징의 분리성이 향상됨을 입증한다.
• 조건부 생성 결과에서는 RBM 사전 모델이 동일한 잠재 코드에 대해 여러 샘플에서 더 선명하고 일관된 재구성을 생성함을 확인했으며, 특히 MNIST와 Omniglot에서 두드러진다.
• CIFAR-10에서는 넓은 조건부 분포를 보이지만 여전히 색상과 구성과 같은 전반적 특징을 포착하며, 로그우도와 분리성 측면에서 가우시안 사전 대비 RBM 사전가 더 뛰어난 성능을 발휘한다.