[논문 리뷰] Diverse Image Synthesis from Semantic Layouts via Conditional IMLE

Ke Li, Tianhao Zhang외 1명|arXiv (Cornell University)|2018. 11. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 7

한 줄 요약

이 논문은 의미적 레이아웃에서 다양한 이미지 생성을 위한 조건부 IMLE 기반 방법을 제안하며, 모드 붕괴 없이 레이아웃당 임의의 수의 이미지를 생성할 수 있도록 한다. 단일 신경망과 노이즈 벡터 샘플링을 활용하여 기존의 SOTA 방법들인 CRN에 비해 더 높은 다양성과 더 적은 아티팩트를 달성하면서도, 감독 없이 의미적으로 구조화된 잠재 공간을 학습한다.

ABSTRACT

Most existing methods for conditional image synthesis are only able to generate a single plausible image for any given input, or at best a fixed number of plausible images. In this paper, we focus on the problem of generating images from semantic segmentation maps and present a simple new method that can generate an arbitrary number of images with diverse appearance for the same semantic layout. Unlike most existing approaches which adopt the GAN framework, our method is based on the recently introduced Implicit Maximum Likelihood Estimation (IMLE) framework. Compared to the leading approach, our method is able to generate more diverse images while producing fewer artifacts despite using the same architecture. The learned latent space also has sensible structure despite the lack of supervision that encourages such behaviour. Videos and code are available at https://people.eecs.berkeley.edu/~ke.li/projects/imle/scene_layouts/.

연구 동기 및 목표

• 기존의 조건부 이미지 생성 방법들이 입력 레이아웃당 단 하나 또는 고정된 수의 이미지만 생성하는 한계를 해결하기 위해.
• 모드 붕괴 없이 동일한 의미적 레이아웃에서 임의의 수의 다양한 고해상도 이미지를 생성할 수 있도록 하기 위해.
• 명시적 감독 없이도 분리되고 의미적으로 유의미한 잠재 공간을 학습하기 위해.
• GAN 기반 또는 다중 생성자 접근 방식에 비해 훈련 안정성을 향상시키고 아티팩트를 줄이기 위해.

제안 방법

• 모드 붕괴를 방지하기 위해 GAN 프레임워크 대신 암묵적 최대우도추정(IMLE)을 사용한다.
• 의미적 레이아웃과 임의의 노이즈 벡터를 입력으로 받아 다양한 이미지를 생성하는 단일 피드포워드 컨볼루션 신경망을 사용한다.
• 사전 훈련된 VGG 네트워크의 특징 표현을 기반으로 한 인지적 손실을 사용하여 이미지 품질과 다양성을 최적화한다.
• 노이즈 인코더를 도입하여 더 구조화된 노이즈 분포를 학습함으로써 다양성을 향상시키고, 재균형 전략을 통해 훈련 안정성을 향상시킨다.
• 잠재 공간 내부의 선형 보간을 통해 의미적 연속성을 평가하여 생성된 이미지 간의 부드러운 전환을 입증한다.
• 다양한 의미적 레이아웃에 동일한 노이즈 벡터를 적용하여 시나리오 편집 중 스타일 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 GAN 기반 아님에도 불구하고, 단일 의미적 레이아웃에서 모드 붕괴 없이 다양한 고해상도 이미지를 생성할 수 있는가?
• RQ2 단일 신경망을 사용하여 다양한 노이즈 벡터를 단순히 샘플링하기만 해도 임의의 수의 다양한 이미지를 생성할 수 있는가?
• RQ3 명시적 감독 없이도 학습된 잠재 공간이 의미적으로 구조화된 구조를 보이는가?
• RQ4 CRN 및 BicycleGAN과 같은 최신 기준 모델에 비해 제안된 방법이 다양성 향상과 아티팩트 감소 측면에서 어떻게 비교되는가?
• RQ5 동일한 노이즈 벡터를 사용할 때, 다양한 의미적 레이아웃 간에 스타일 일관성이 유지되는가?

주요 결과

• 모델 및 아블레이션 전반에서 가장 높은 LPIPS 점수(0.19)를 기록하여 생성된 이미지의 다양성이 가장 높음을 나타낸다.
• 인간 평가 결과, 우리 방법으로 생성된 이미지 중 36.4%만이 뚜렷한 합성 패tern을 보였고, 이는 CRN의 63.6%에 비해 유의미하게 낮았다.
• 아블레이션 연구를 통해 노이즈 인코더와 재균형 전략이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 아티팩트 비율 증가와 다양성 감소가 발생했다.
• 낮과 밤의 장면에 대한 노이즈 벡터 간 선형 보간은 매끄럽고 인지적으로 일관된 전환을 만들어내어 의미적으로 구조화된 잠재 공간을 입증했다.
• 다양한 의미적 레이아웃에 동일한 노이즈 벡터를 적용함으로써 스타일 일관성이 유지되어 일관된 시각적 스타일을 갖는 효과적인 시나리오 편집이 가능했다.
• CRN와 동일한 아키텍처를 사용했음에도 불구하고, 우리 방법은 더 적은 아티팩트와 더 높은 다양성을 생성하여 IMLE 프레임워크의 우수성을 입증했다.