[논문 리뷰] Super-resolution Variational Auto-Encoders

Ioannis Gatopoulos, Maarten Stol외 1명|arXiv (Cornell University)|2020. 06. 09.

Advanced Image Processing Techniques참고 문헌 31인용 수 7

한 줄 요약

이 논문은 초해상도 변환 오토인코더(sRVAE)를 제안하며, VAE를 개선하기 위해 잠재변수로 저해상도 이미지를 도입함으로써 고해상도 이미지 생성을 가능하게 하면서도 로그우도 목표를 유지한다. 이 모델은 CIFAR-10과 ImageNet32에서 최신 기준(FID) 점수를 달성하며, 우수한 해상도 성능을 유지하면서도 날카운 이미지 생성을 실현한다.

ABSTRACT

The framework of variational autoencoders (VAEs) provides a principled method for jointly learning latent-variable models and corresponding inference models. However, the main drawback of this approach is the blurriness of the generated images. Some studies link this effect to the objective function, namely, the (negative) log-likelihood. Here, we propose to enhance VAEs by adding a random variable that is a downscaled version of the original image and still use the log-likelihood function as the learning objective. Further, by providing the downscaled image as an input to the decoder, it can be used in a manner similar to the super-resolution. We present empirically that the proposed approach performs comparably to VAEs in terms of the negative log-likelihood, but it obtains a better FID score in data synthesis.

연구 동기 및 목표

• VAE로 생성된 이미지의 흐림 문제를 해결하기 위해, 이는 일반적으로 로그우도 목표와 연관된다.
• 로그우도 학습 목표를 포기하지 않으면서도 VAE의 이미지 품질을 향상시키기 위해.
• 구조적이고 학습 가능한 저해상도 표현을 사용하여 초해상도를 VAE 프레임워크에 통합하기 위해.
• 초해상도 구성 요소를 포함한 더 풍부한 잠재 구조가 생성 정밀도를 향상시키면서도 경쟁 가능한 우도 점수를 유지할 수 있음을 입증하기 위해.

제안 방법

• 입력 이미지의 2배로 압축된 버전을 나타내는 새로운 잠재변수 y를 도입하며, 이는 디코더의 입력으로 사용된다.
• 표준 VAE 목표(ELBO)를 사용하며, 원본 이미지 x와 저해상도 이미지 y가 잠재변수에 조건부로 종속되도록 하는 공동 우도 함수를 모델링한다.
• DenseNet 기반의 인코더와 디코더를 사용하며, 복잡한 데이터 기반 사전 분포를 모델링하기 위해 RealNVP 기반의 플로우 사전을 적용한다.
• 저해상도 이미지 y를 디코더에 입력하여 조건부 생성을 수행함으로써 초해상도 유사 이미지 재구성을 가능하게 한다.
• 재구성 기반 기울기와 몬테카를로 추정을 사용하여 ELBO 목표를 최적화하며, 전체적으로 미분 가능성을 유지한다.
• 학습 중에 저해상도 이미지를 감독 신호로 사용함으로써, 거친 구조에서 세밀한 세부 사항으로 향하는 계층적 이미지 생성을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 잠재변수로 저해상도 이미지를 도입함으로써, 로그우도 목표를 훼손하지 않으면서도 VAE로 생성된 이미지의 날카움을 향상시킬 수 있는가?
• RQ2 VAE 프레임워크에 초해상도 구성 요소를 통합함으로써, FID로 측정된 인지적 품질이 향상되는가?
• RQ3 기본 VAE와 비교할 때, 제안된 모델은 우도와 재구성 정밀도 측면에서 어떻게 다를까?
• RQ4 플로우 기반 사전과 다중 수준 잠재 구조를 조합함으로써 VAE에서 발생하는 후행 분포 붕괴 문제를 완화할 수 있는가?
• RQ5 계층적 생성 과정(거친 구조에서 세밀한 세부 사항으로)이 인간의 시각 시스템 발달 방식을 얼마나 잘 모방하는가?

주요 결과

• srVAE는 표준 VAE보다 훨씬 높은 프리셰트 인ception 거리(FID) 점수를 달성하여 더 높은 인지적 품질과 날카로운 이미지 생성을 나타낸다.
• CIFAR-10에서 모델은 최신 기준 단일 수준 VAE와 경쟁 가능한 비트 매 차원(bpd) 점수를 기록하여 강력한 밀도 추정 성능을 입증한다.
• 원본 이미지에 대한 재구성 오차(RE_x)가 표준 VAE보다 낮아, 재구성 정밀도 향상을 나타낸다.
• 저해상도 이미지에 대한 재구성 오차(RE_y)는 더 높지만, 전체적으로 FID 점수 향상은 계층적 생성 과정의 효과를 확인한다.
• 잠재변수 z와 u에 대한 KL 발산 값은 모두 높은 수준(모두 CIFAR-10과 ImageNet32에서 약 1500)을 유지하여 후행 분포 붕괴가 발생하지 않았고, 잠재공간이 활발히 사용되고 있음을 시사한다.
• 정성적 결과에서는 모델이 일관된 전반적 구조와 날카로운 국소 세부 사항을 갖춘 이미지를 생성함을 보여주며, 스케치 후 보정 단계를 거치는 두 단계 과정과 유사한 방식을 따름을 확인할 수 있다.