[논문 리뷰] Latent Convolutional Models

ShahRukh Athar, Evgeny Burnaev외 1명|arXiv (Cornell University)|2018. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 11

한 줄 요약

이 논문은 전통적인 벡터 기반 잠재 공간 대신 학습 가능한 2차원 특징 맵을 사용하는 생성 프레임워크인 잠재 컨볼루션 모델(Latent Convolutional Models, LCM)을 소개한다. 이는 고해상도 이미지 복원 및 완성에서 뛰어난 성능을 발휘한다. 잠재 공간을 공간적 특징 맵으로 모델링함으로써 LCM는 CelebA, CelebAHQ, Bedrooms 데이터셋에서 최신 기준 성능을 달성하며, GLO, DIP, WGAN, PGAN 기준선보다 정량적·정성적 평가에서 모두 뛰어난 성능을 보인다. 특히 고도의 손실(occlusion) 및 저자료 환경에서 두각을 나타낸다.

ABSTRACT

We present a new latent model of natural images that can be learned on large-scale datasets. The learning process provides a latent embedding for every image in the training dataset, as well as a deep convolutional network that maps the latent space to the image space. After training, the new model provides a strong and universal image prior for a variety of image restoration tasks such as large-hole inpainting, superresolution, and colorization. To model high-resolution natural images, our approach uses latent spaces of very high dimensionality (one to two orders of magnitude higher than previous latent image models). To tackle this high dimensionality, we use latent spaces with a special manifold structure (convolutional manifolds) parameterized by a ConvNet of a certain architecture. In the experiments, we compare the learned latent models with latent models learned by autoencoders, advanced variants of generative adversarial networks, and a strong baseline system using simpler parameterization of the latent space. Our model outperforms the competing approaches over a range of restoration tasks.

연구 동기 및 목표

• 표준적인 1차원 벡터 기반 잠재 공간 대신 학습 가능한 2차원 특징 맵을 사용하여 이미지 복원 및 완성 성능을 향상시키는 것.
• GLO 및 기타 GAN 기반 모델이 고해상도, 비밀착된 얼굴 이미지를 복원하는 데에 한계를 보이는 문제를 해결하는 것.
• 극도의 손실(95% 픽셀 드롭아웃) 조건에서 공간적으로 구조화된 잠재 공간이 현실적인 이미지 보완을 생성하는 데 얼마나 효과적인지 평가하는 것.
• CelebA, CelebAHQ, Bedrooms와 같은 다양한 데이터셋에서 GLO, DIP, WGAN-GP, PGAN과 같은 강력한 기준선과의 비교를 통해 LCM의 성능을 평가하는 것.

제안 방법

• LCM는 2차원 특징 맵 잠재 공간에서 전체 해상도 이미지로 매핑하는 아워그라운드 아키텍처를 갖춘 생성자 네트워크를 사용한다.
• 잠재 공간은 1차원 벡터가 아니라 2차원 컨볼루션 특징 맵(예: 4×4 또는 32×32)으로 파arameter화되어 있어 공간적 인덕티브 바이어스를 제공한다.
• 업샘플링 과정에서 고주파 수치를 유지하기 위해 스위프 커넥션을 활용한다.
• 잠재 네트워크 fϕi 는 입력 이미지를 2차원 잠재 특징 맵으로 매핑하는 컨볼루션 인코더이다.
• 학습은 재구성 목적과 적대적 손실을 사용하며, 잠재 공간에 L2 정규화를 적용하지 않는다.
• 모델은 CelebA(128×128), Bedrooms(256×256), CelebAHQ(1024×1024) 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 벡터 기반의 잠재 공간을 2차원 특징 맵으로 대체할 경우, 고해상도, 비밀착된 얼굴 이미지에서의 이미지 복원 성능이 향상되는가?
• RQ2 극도의 손실 조건에서 LCM은 GLO, DIP, WGAN-GP, PGAN과 비교해 재구성 품질과 손실 측면에서 어떻게 성능을 내는가?
• RQ3 잠재 공간에 L2 정규화가 적용되지 않는 것이 이미지 복원 작업에서 더 나은 일반화 성능을 이끌어내는가?
• RQ4 공간적으로 구조화된 잠재 공간은 조밀한 벡터 표현보다 국소적인 이미지 구조를 더 잘 포착할 수 있는가?

주요 결과

• LCM는 24k 파rameter를 가진 2차원 잠재 맵를 사용해 CelebA에서 재구성 손실 0.0113을 달성하며, 8192차원의 벡터 기반 GLO 모델(손실: 0.0144)보다 유의미하게 뛰어난 성능을 보였다.
• 24k (Conv) LCM 버전은 모든 GLO 버전 중에서 가장 낮은 재구성 손실을 기록하여, 잠재 공간 내 공간적 구조가 모델링 능력을 향상시킨다는 것을 입증했다.
• WGAN-GP에서 잠재 변수에 L2 페널티를 증가시키면 재구성 손실이 증가하며, 페널티 없을 때 손실 0.1893에서 가중치 1일 때 0.53으로 상승함으로써 정규화가 성능에 악영향을 준다는 것을 보여주었다.
• LCM는 특히 95% 픽셀 드롭아웃 조건에서 이미지 복원 작업에서 정성적인 결과가 뛰어나며, GLO, DIP, WGAN, PGAN을 모두 능가하는 시각적 정확도와 세부 구조 복원 능력을 보였다.
• 유사한 파라미터 수를 가진 8192 (vec) GLO 모델보다 24k (Conv) LCM 모델이 더 우수한 성능을 내어, 공간적 인덕티브 바이어스의 우수성을 입증했다.
• LCM는 다양한 데이터셋에 잘 일반화되어 있으며, 이전 GAN 모델이 비밀착된 이미지 처리에 어려움을 겪었던 CelebAHQ와 Bedrooms에서도 뛰어난 성능을 달성했다.