[논문 리뷰] Edge Guided GANs with Semantic Preserving for Semantic Image Synthesis

Hao Tang, Xiaojuan Qi외 3명|arXiv (Cornell University)|2020. 03. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 68인용 수 29

한 줄 요약

이 논문은 구조적 세부 사항과 의미 일관성을 유지하기 위해 엣지 맵을 중간 지침으로 사용함으로써 사진처럼 사실적인 의미적 이미지 합성을 향상시키는 새로운 GAN 프레임워크 EdgeGAN을 제안한다. 주의력 유도 엣지 전달 모듈과 클래스별 특징 강조 메커니즘을 통합함으로써 EdgeGAN은 두 개의 벤치마크 데이터셋에서 최신 기법들을 능가하며 더 선명하고 의미적으로 정확한 이미지를 생성하며 국소 세부 사항을 향상시키고 객체 누락 오류를 감소시킨다.

ABSTRACT

We propose a novel Edge guided Generative Adversarial Network (EdgeGAN) for photo-realistic image synthesis from semantic layouts. Although considerable improvement has been achieved, the quality of synthesized images is far from satisfactory due to two largely unresolved challenges. First, the semantic labels do not provide detailed structural information, making it difficult to synthesize local details and structures. Second, the widely adopted CNN operations such as convolution, down-sampling and normalization usually cause spatial resolution loss and thus are unable to fully preserve the original semantic information, leading to semantically inconsistent results (e.g., missing small objects). To tackle the first challenge, we propose to use the edge as an intermediate representation which is further adopted to guide image generation via a proposed attention guided edge transfer module. Edge information is produced by a convolutional generator and introduces detailed structure information. Further, to preserve the semantic information, we design an effective module to selectively highlight class-dependent feature maps according to the original semantic layout. Extensive experiments on two challenging datasets show that the proposed EdgeGAN can generate significantly better results than state-of-the-art methods. The source code and trained models are available at this https URL.

연구 동기 및 목표

• 의미 레이블에서 유도되는 구조적 정보가 부족하여 의미적 이미지 생성에서 국소 세부 사항 합성이 열악한 문제를 해결하기 위해.
• 표준 CNN 연산(예: 풀링 및 정규화)으로 인한 공간 해상도 손실로 인해 발생하는 의미 일관성 문제를 완화하기 위해.
• 생성 과정 중에 세밀한 구조적 및 의미적 세부 사항을 유지함으로써 이미지 품질을 향상시키기 위해.
• 엔드 투 엔드로 훈련 가능한 엣지 맵을 중간 표현으로 활용하여 고해상도 이미지 합성을 유도하는 방법을 개발하기 위해.

제안 방법

• 컨볼루션 생성자(Generator)가 입력 의미 레이아웃에서 엣지 맵을 생성하여 구조적 지도로 활용한다.
• 주의력 유도 엣지 전달 모듈이 층 간 엣지 특징을 정렬하고 전달하여 이미지 생성 중 세밀한 세부 사항을 유지한다.
• 원본 의미 레이아웃 기반으로 특징 맵을 선택적으로 강조하는 클래스별 특징 강조 모듈을 통해 의미 일관성을 유지한다.
• 생성자와 판별자(Discriminator)를 GAN 프레임워크 내에서 엔드 투 엔드로 훈련하여 현실성과 구조적 정밀도를 동시에 최적화한다.
• 다중 스트림 특징 정련 메커니즘을 통해 엣지 감독과 의미 유지 기능을 통합한다.
• 성능 검증을 위해 프레임워크는 두 개의 도전적인 의미적 이미지 합성 벤치마크에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 엣지 맵이 의미적 이미지 생성에서 국소 구조 합성을 향상시키기 위해 효과적인 중간 표현으로 기능할 수 있는가?
• RQ2 CNN 연산에서 발생하는 해상도 손실에도 불구하고 이미지 생성 과정 중 의미 일관성을 어떻게 유지할 수 있는가?
• RQ3 기본 GAN과 비교했을 때 엣지 유도 특징 전달이 생성된 이미지의 정밀도와 현실성에 얼마나 기여하는가?
• RQ4 클래스별 특징 강조 메커니즘이 누락되거나 잘못 분류된 객체와 같은 의미 일관성 문제를 줄일 수 있는가?
• RQ5 엣지 지도와 의미 유지 기능의 통합이 최신 기법들에 비해 측정 가능한 향상 효과를 가져오는가?

주요 결과

• EdgeGAN은 두 개의 도전적인 의미적 이미지 합성 벤치마크에서 최신 기법들보다 뛰어난 이미지 품질을 달성한다.
• 의미 유지 향상 덕분에 소형 객체 누락 또는 잘못 분류되는 경우가 크게 감소한다.
• 주의력 유도 엣지 전달 모듈이 국소 구조적 세부 사항을 향상시켜 더 선명하고 현실적인 질감과 형태를 만들어낸다.
• 정량적 평가 지표는 FID 및 기타 평가 점수에서 일관된 향상을 보이며 더 높은 현실성과 정밀도를 나타낸다.
• 제거 실험(Ablation study)은 엣지 지도와 의미 유지 구성 요소가 최적 성능을 내기 위해 필수적임을 확인한다.
• 소스 코드와 훈련된 모델은 공개되어 있어 재현성과 향후 연구를 가능하게 한다.