[논문 리뷰] High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

Ting-Chun Wang, Ming-Yu Liu외 4명|arXiv (Cornell University)|2017. 11. 30.

Generative Adversarial Networks and Image Synthesis인용 수 300

한 줄 요약

논문은 조건부 GAN 프레이워크를 개발하여 의미 라벨 맵으로부터 2048×1024의 사진처럼 현실적인 이미지를 합성하며, 거친-세밀한 생성기(coarse-to-fine generator), 다중 스케일 판별기, 그리고 선택적 지각 및 특징 매칭 손실을 포함한 적대적 목표를 사용합니다. 또한 인스턴스 인식 조작과 인터랙티브 편집을 위한 다양한 출력도 가능하게 합니다.

ABSTRACT

We present a new method for synthesizing high-resolution photo-realistic images from semantic label maps using conditional generative adversarial networks (conditional GANs). Conditional GANs have enabled a variety of applications, but the results are often limited to low-resolution and still far from realistic. In this work, we generate 2048x1024 visually appealing results with a novel adversarial loss, as well as new multi-scale generator and discriminator architectures. Furthermore, we extend our framework to interactive visual manipulation with two additional features. First, we incorporate object instance segmentation information, which enables object manipulations such as removing/adding objects and changing the object category. Second, we propose a method to generate diverse results given the same input, allowing users to edit the object appearance interactively. Human opinion studies demonstrate that our method significantly outperforms existing methods, advancing both the quality and the resolution of deep image synthesis and editing.

연구 동기 및 목표

• 의미 라벨 맵에서 고해상도, 사진 같은 이미지 합성을 이전의 저해상도 결과를 넘어선다는 동기 부여.
• 2048×1024 출력에 대해 거친-정교한(coarse-to-fine) 생성기와 다중 스케일 판별기로 견고한 조건부 GAN 프레임워크를 개발한다.
• 객체 단위 조작을 가능하게 하기 위해 인스턴스 수준의 세분화 정보를 포함한다(예: 객체 추가/제거 및 범주 변경).
• 인스턴스 수준 특징 임베딩을 학습하고 이를 클러스터링하여 제어 가능한 다양한 변화를 만들 수 있도록 인터랙티브한 이미지 생성을 가능하게 한다.

제안 방법

• 전역 네트워크가 1024×512인 거친-세밀한 생성기와 2048×1024로 업샘플링하는 로컬 향상 네트워크를 사용한다.
• 전역 일관성과 미세 질감 세부 정보를 이끄는 서로 다른 이미지 스케일에서 작동하는 세 개의 다중 스케일 판별기를 채택한다.
• 학습을 안정화하고 스케일 간 자연스러운 통계를 장려하기 위해 판별자 특징 매칭 손실을 도입한다.
• 입력에 인스턴스 경계 정보를 추가하여 인스턴스 맵을 포함시키고 객체 경계와 인접 객체의 구분성을 개선한다.
• 인코더를 통해 학습되고 K-means 클러스터링으로 구성된 인스턴스 수준 특징 임베딩을 추가하여 각 객체 인스턴스의 다양하고 제어 가능한 외관을 가능하게 한다.

실험 결과

연구 질문

• RQ1 조건부 GAN이 의미 라벨 맵으로부터 고해상도이고 사진과 같은 이미지를 생성할 수 있는가?
• RQ2 거친-정교한 생성기와 다중 스케일 판별기가 고해상도에서 realism과 글로벌 코히런스를 향상시키는가?
• RQ3 인스턴스 수준 정보를 포함하는 것이 객체 경계를 개선하고 인터랙티브 편집을 가능하게 하는가?
• RQ4 학습된 인스턴스 수준 특징이 개별 객체에 대해 다양하고 제어 가능한 외관 변화를 제공할 수 있는가?

주요 결과

• 제안된 방법은 이전 방법들에 비해 우수한 현실감을 갖춘 고해상도(2048×1024) 이미지를 생성한다.
• 인스턴스 수준 세분화 정보는 객체 경계를 선명하게 하고 인접한 객체가 있는 장면에서 현실감을 향상시킨다.
• 다중 스케일 판별기와 특징 매칭 손실이 학습을 안정화하고 기준선 대비 세분화 정확도 지표를 향상시킨다.
• 이 접근법은 합성 이미지에서 더 높은 의미적 세분화 점수를 산출하며 벤치마크 평가에서 실제 이미지(Oracle)에 근접한다.
• 인스턴스 특징과 라벨을 조작함으로써 인터랙티브한 객체 편집과 다양한 출력을 실시간으로 가능하게 하며, 객체의 추가/제거 및 외관 변경을 가능하게 한다.