[논문 리뷰] Deep Variational Inference Without Pixel-Wise Reconstruction

Siddharth Agrawal, Ambedkar Dukkipati|arXiv (Cornell University)|2016. 11. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 7

한 줄 요약

이 논문은 기존의 픽셀 단위 재구성 방식을 실수값 비체적 보존(Real NVP) 흐름을 사용한 정확한 우도 모델링으로 대체하는 변분 오토에인코더인 VAPNEV를 제안한다. 조건부 커파링 레이어를 통해 VAE의 잠재 공간을 조건으로 삼아, 이미지 생성 작업에서 복잡한 모델들인 컨volutional DRAW나 Real NVP를 능가하거나 근사하는 경쟁력 있는 성능을 달성하면서도 뿌연 이미지가 발생하지 않는 효율적인 샘플링과 정확한 우도 계산을 가능하게 한다.

ABSTRACT

Variational autoencoders (VAEs), that are built upon deep neural networks have emerged as popular generative models in computer vision. Most of the work towards improving variational autoencoders has focused mainly on making the approximations to the posterior flexible and accurate, leading to tremendous progress. However, there have been limited efforts to replace pixel-wise reconstruction, which have known shortcomings. In this work, we use real-valued non-volume preserving transformations (real NVP) to exactly compute the conditional likelihood of the data given the latent distribution. We show that a simple VAE with this form of reconstruction is competitive with complicated VAE structures, on image modeling tasks. As part of our model, we develop powerful conditional coupling layers that enable real NVP to learn with fewer intermediate layers.

연구 동기 및 목표

• 픽셀 단위 재구성의 알려진 한계, 특히 평균 제곱 오차 손실로 인한 뿌연 생성 결과를 해결하기 위해.
• 역행성 정규화 흐름을 활용하여 VAE의 조건부 우도 항을 정확하게 계산할 수 있도록 하기 위해.
• VAE의 잠재 표현에 기반하여 커파링 레이어를 조건화시켜 더 표현력 있고 효율적인 흐름 아키텍처를 개발하기 위해.
• 정확한 우도 모델링을 갖춘 단순한 VAE가 다중 스토케스틱 레이어와 순환 연결을 가진 복잡한 VAE를 능가하거나 근사할 수 있음을 보여주기 위해.
• 반감독 학습이나 조건부 학습에 효율적으로 활용할 수 있는, 효율적인 훈련, 샘플링, 후속 작업을 지원하는 생성 모델을 제공하기 위해.

제안 방법

• 조건부 우도 $ p(x|z) $ 를 모델링하기 위해 실수값 NVP 변환을 사용하여, 변화량 공식을 통해 정확한 우도 계산을 가능하게 한다.
• 잠재 코드 $ z $ 와 입력 간의 곱셈 상호작용을 통합한 조건부 커파링 레이어를 도입하여, 더 적은 레이어로도 표현력을 향상시킨다.
• Real NVP에서 영감을 얻어 체스보드 및 채널 기반 마스킹을 사용한 다중 스케일 아키텍처를 도입하여 흐름 모델링 성능을 향상시킨다.
• 흐름 네트워크 $ l_z(x) $ 와 $ m_z(x) $ 에서 스QUEEZE 연산과 잔차 블록을 적용하며, $ l $ 과 $ m $ 간에 동일한 아키텍처를 공유하여 효율성을 높인다.
• 흐름의 자코비안 행렬식을 통해 재구성 항을 정확히 계산함으로써, 변분 하한을 최대화하는 방식으로 모델을 종합적으로 훈련시킨다.
• 일반화 및 모델링 능력을 향상시키기 위해 수평 뒤집기와 다중 스케일 흐름 설계를 활용한 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 정규화 흐름을 통해 픽셀 단위 재구성 대신 정확한 우도 모델링을 적용하면 VAE의 이미지 생성 성능이 향상되는가?
• RQ2 VAE의 잠재 코드에 기반하여 흐름을 조건화시키는 것이 모델의 표현력과 샘플 품질에 어떤 영향을 미치는가?
• RQ3 단순한 VAE에 컴act한 흐름 아키텍처를 적용하면, 컨volutional DRAW와 같은 복잡한 VAE의 성능을 따라잡거나 뛰어넘을 수 있는가?
• RQ4 VAE가 전역적인 의미적 표현을 제공함으로써 표준 NVP에 비해 정규화 흐름의 성능을 향상시킬 수 있는가?
• RQ5 제안된 방법은 효율적인 샘플링과 훈련을 유지하면서도 경쟁력 있는 비트/차원 점수를 달성할 수 있는가?

주요 결과

• CIFAR-10에서 VAPNEV는 비트/차원 점수를 3.55 이하로 달성하여 컨volutional DRAW를 능가하고 최신 기준 모델과 경쟁 수준을 유지한다.
• CelebA에서 VAPNEV는 단 두 개의 스케일만을 사용함에도 불구하고, 더 작은 아키텍처를 사용함에도 불구하고 Real NVP를 크게 뛰어넘는 2.8 비트/차원 미만의 점수를 기록한다.
• 표준 VAE보다 더 선명하고 의미적으로 일관된 재구성을 생성하여, 객체 자세, 배경 색상, 얼굴 표정과 같은 고수준 특징을 잘 포착한다.
• 조건부 커파링 레이어 설계 덕분에 더 적은 레이어로도 복잡한 변환을 학습할 수 있어 샘플 품질과 우도 추정 성능이 향상된다.
• GAN을 보완하는 VAE와 달리 정확한 우도 계산과 효율적인 샘플링을 지원하여 다른 VAE와 객관적인 비교가 가능하다.
• 결과적으로 VAE의 잠재 공간을 정규화 흐름의 전역적 맥락으로 활용하면, 고차원 이미지 생성에서 흐름 모델링 성능이 향상됨을 보여준다.