[논문 리뷰] Multi-Stage Variational Auto-Encoders for Coarse-to-Fine Image Generation

Lei Cai, Hongyang Gao외 1명|arXiv (Cornell University)|2017. 05. 19.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 다단계 변분 오토에인코더(VAE)를 제안하며, 원본 VAE가 거친 복원을 생성한 후 별도의 정밀화 네트워크를 통해 이미지를 보다 선명하게 만드는 방식으로 블러리함을 줄입니다. 주요 VAE에서 정밀화 단계를 분리함으로써, $ one_2$ 손실 함수 외의 손실 함수(예: 적대적 손실)를 적용할 수 있어 표준 VAE보다 MNIST 및 CelebA에서 훨씬 우수한 이미지 품질을 달성합니다.

ABSTRACT

Variational auto-encoder (VAE) is a powerful unsupervised learning framework for image generation. One drawback of VAE is that it generates blurry images due to its Gaussianity assumption and thus L2 loss. To allow the generation of high quality images by VAE, we increase the capacity of decoder network by employing residual blocks and skip connections, which also enable efficient optimization. To overcome the limitation of L2 loss, we propose to generate images in a multi-stage manner from coarse to fine. In the simplest case, the proposed multi-stage VAE divides the decoder into two components in which the second component generates refined images based on the course images generated by the first component. Since the second component is independent of the VAE model, it can employ other loss functions beyond the L2 loss and different model architectures. The proposed framework can be easily generalized to contain more than two components. Experiment results on the MNIST and CelebA datasets demonstrate that the proposed multi-stage VAE can generate sharper images as compared to those from the original VAE.

연구 동기 및 목표

• 표준 VAE에서 $ one_2$ 복원 손실로 인해 지속적으로 발생하는 블러리한 이미지 생성 문제를 해결하기 위해.
• 깊이 있는 잔차 블록과 스킵 연결을 통해 디코더의 용량을 증가시켜 이미지 품질을 향상시키기 위해.
• 거친 이미지 생성과 정밀한 이미지 생성 단계를 분리함으로써 고해상도 이미지 생성을 가능하게 하기 위해.
• 정밀화 단계에서 $ one_2$ 외의 손실 함수를 사용할 수 있도록 하여 블러리함을 완화하기 위해.
• 진행적 이미지 정밀화를 위해 두 번 이상의 단계를 지원할 수 있는 일반화된 프레임워크를 개발하기 위해.

제안 방법

• 디코더를 두 단계로 나눕니다: 첫 번째 단계는 $ one_2$ 손실을 사용해 거친 이미지를 생성하고, 두 번째 단계는 별도의 네트워크로 이를 정밀화합니다.
• 첫 번째 단계의 출력은 주 VAE와 독립적인 초해상도 스타일의 정밀화 네트워크의 입력으로 간주됩니다.
• 두 단계 모두 잔차 블록과 스킵 연결을 사용하여 학습 안정성과 모델 용량을 향상시킵니다.
• 정밀화 네트워크는 표준 $ one_2$ 기반 VAE와 달리, 블러리함을 줄이기 위해 대체 손실 함수(예: 적대적 손실)를 적용할 수 있습니다.
• 프레임워크는 종단 간(end-to-end)으로 학습되지만, 정밀화 단계는 개념적으로 분리되어 있어 손실 함수 설계에 대한 유연성을 제공합니다.
• 이 방법은 두 단계 이상으로 일반화되어 다단계의 거친-정밀한 이미지 생성을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 거친 이미지 생성과 정밀한 이미지 생성 단계를 분리함으로써 다단계 VAE 아키텍처가 이미지 선명도를 향상시킬 수 있는가?
• RQ2 최종 정밀화 단계에서 $ one_2$ 손실을 대체 손실 함수로 교체하면 VAE가 생성하는 이미지의 블러리함이 감소하는가?
• RQ3 디코더에 잔차 네트워크를 적용하면 VAE의 학습 안정성과 이미지 품질이 향상되는가?
• RQ4 기준 VAE 및 깊이 있는 잔차 VAE와 비교할 때, 제안된 방법은 기준 데이터셋에서 이미지 품질 측면에서 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 진행적 이미지 정밀화를 위해 두 단계를 초과하여 확장 가능한가?

주요 결과

• 다단계 VAE는 표준 VAE보다 MNIST 및 CelebA 데이터셋에서 훨씬 선명한 이미지를 생성합니다.
• 깊이 있는 잔차 VAE는 표준 VAE보다 블러리함을 줄였지만, 여전히 $ one_2$ 손실로 인해 블러리한 결과를 낼 수 있습니다.
• 제안된 방법은 정밀화 단계에서 $ one_2$ 외의 손실 함수를 허용함으로써 $ one_2$ 손실의 한계를 효과적으로 극복합니다.
• 다단계 VAE의 중간 특징 맵은 블러리한 출력에서 선명한 출력으로의 명확한 전이 과정을 보여주어 거친-정밀한 생성 과정을 확인합니다.
• 시각적 비교 결과, 다단계 VAE는 기준 모델보다 더 높은 해상도의 이미지와 더 세밀한 질감 및 얼굴 특징을 생성합니다.
• 프레임워크는 일반화 가능하며, 진행적 이미지 생성을 위해 두 단계를 초과하여 확장할 수 있습니다.