[논문 리뷰] On the Diversity of Realistic Image Synthesis

Zichen Yang, Haifeng Liu외 1명|arXiv (Cornell University)|2017. 12. 20.

Advanced Image Processing Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 조건부 GAN을 사용하여 의미적 레이아웃에서 다양하고 현실적인 이미지를 생성하는 데 있어 다양성 손실 목표를 제안한다. 입력 노이즈를 의미적 세그먼트에 연결하고, 노이즈 차이에 기반한 출력 간 거리 최대화를 통해, 이미지의 실재성은 유지하면서도 높은 다양성과 사용자 제어 가능한 조작이 가능한 방법을 제공한다. 이는 기준 모델 대비 다양성에서 뛰어난 성능을 보이며, 해상도를 떨어뜨리지 않는다.

ABSTRACT

Many image processing tasks can be formulated as translating images between two image domains, such as colorization, super resolution and conditional image synthesis. In most of these tasks, an input image may correspond to multiple outputs. However, current existing approaches only show very minor diversity of the outputs. In this paper, we present a novel approach to synthesize diverse realistic images corresponding to a semantic layout. We introduce a diversity loss objective, which maximizes the distance between synthesized image pairs and links the input noise to the semantic segments in the synthesized images. Thus, our approach can not only produce diverse images, but also allow users to manipulate the output images by adjusting the noise manually. Experimental results show that images synthesized by our approach are significantly more diverse than that of the current existing works and equipping our diversity loss does not degrade the reality of the base networks.

연구 동기 및 목표

• 일반적으로 하나의 입력으로부터 다수의 타당한 출력이 생성될 수 있음에도 불구하고, 조건부 이미지 합성에서 다양성의 부족을 해결하기 위해.
• 입력 노이즈의 수동 조정을 통해 생성된 이미지의 사용자 조작을 가능하게 하기 위해.
• 출력 다양성을 크게 증가시키면서도 높은 이미지 현실성을 유지하기 위해.
• 다양한 기본 생성 네트워크에 적용 가능한 플러그인 호환 손실 함수를 개발하기 위해.

제안 방법

• 입력 노이즈 벡터 간의 거리에 기반해 이미지 출력 간 거리를 최대화하는 다양성 손실을 도입한다.
• 노이즈 벡터의 각 차원을 레이아웃 내 특정 의미적 세그먼트에 연결하여 국소적 이미지 편집을 가능하게 한다.
• 생성자 네트워크를 수정하여 의미적 레이아웃을 입력 채널로 노이즈를 조건부로 사용하도록 한다.
• 기본 네트워크 손실(예: 적대적 또는 L1)과 하이퍼파라미터 β를 가진 다양성 손실의 조합으로 네트워크를 훈련시킨다.
• 훈련 샘플당 두 번의 순전파를 수행: 하나는 무작위 노이즈를, 다른 하나는 영노이즈를 사용하여 다양성 손실을 계산한다.
• 기존 모델인 Pix2pix와 CRN에 아키텍처 변경 없이도 다양성 손실을 플러그인 모듈로 적용한다.

실험 결과

연구 질문

• RQ1 간단하고 모듈화된 손실 함수가 현실성에 영향을 주지 않으면서도 이미지 합성의 다양성을 크게 증가시킬 수 있는가?
• RQ2 입력 노이즈를 의미적 세그먼트에 의미적으로 연결하면, 세밀하고 직관적인 이미지 편집이 어떻게 가능해지는가?
• RQ3 이 다양성 손실은 다양한 기본 생성 모델에 얼마나 일반화될 수 있는가?
• RQ4 다양성 손실이 기본 네트워크의 이미지 품질과 구조적 충실도를 유지하는가?
• RQ5 노이즈 차원을 의미 클래스별로 독립적으로 변화시켜 기하급수적으로 더 많은 다양한 출력을 생성할 수 있는가?

주요 결과

• 제안된 다양성 손실은 품질 분석(정성적 및 정량적)을 통해 Pix2pix와 CRN 등의 기준 모델 대비 출력 다양성을 크게 증가시킴을 확인했다.
• 다양성 손실은 이미지의 현실성을 떨어뜨리지 않으며, 평가 지표(FID, LPIPS 등)를 통해 이미지 품질에 유의미한 하락이 없음을 확인했다.
• 개별 노이즈 차원의 조정을 통해 사용자가 이미지를 제어적으로 편집할 수 있으며, 특정 의미적 세그먼트를 독립적으로 조작할 수 있다.
• 다양성 손실은 CMP Facades와 Cityscapes 등 다양한 데이터셋과 기본 모델에 효과적으로 작용하여 광범위한 적용 가능성을 보였다.
• 의미 클래스 수에 따라 가능한 다양한 출력의 수가 기하급수적으로 증가하며(k^n), 현실적인 이미지 변형의 다양성을 제공한다.
• 간단한 레이아웃에서도 구조적 변형(예: 다양한 창 유형, 벽면 질감)을 성공적으로 생성하지만, 너무 단순한 입력에서는 성능 저하가 발생한다.