[논문 리뷰] You Only Need Adversarial Supervision for Semantic Image Synthesis

Vadim Sushko, Edgar Schönfeld외 4명|arXiv (Cornell University)|2020. 12. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 55인용 수 70

한 줄 요약

OASIS는 세그먼테이션 기반의 판별기와 3D 노이즈 주도 생성기를 도입하여 지각 손실 없이 오직 대립적 학습(adversarial supervision)만으로 고품질의 다양하고 의미론적인 이미지 합성을 달성합니다.

ABSTRACT

Despite their recent successes, GAN models for semantic image synthesis still suffer from poor image quality when trained with only adversarial supervision. Historically, additionally employing the VGG-based perceptual loss has helped to overcome this issue, significantly improving the synthesis quality, but at the same time limiting the progress of GAN models for semantic image synthesis. In this work, we propose a novel, simplified GAN model, which needs only adversarial supervision to achieve high quality results. We re-design the discriminator as a semantic segmentation network, directly using the given semantic label maps as the ground truth for training. By providing stronger supervision to the discriminator as well as to the generator through spatially- and semantically-aware discriminator feedback, we are able to synthesize images of higher fidelity with better alignment to their input label maps, making the use of the perceptual loss superfluous. Moreover, we enable high-quality multi-modal image synthesis through global and local sampling of a 3D noise tensor injected into the generator, which allows complete or partial image change. We show that images synthesized by our model are more diverse and follow the color and texture distributions of real images more closely. We achieve an average improvement of $6$ FID and $5$ mIoU points over the state of the art across different datasets using only adversarial supervision.

연구 동기 및 목표

• semantic 이미지 합성에서 지각 손실(perceptual loss)을 제거하려는 동기 부여와 판별기 피드백 강화.
• 시맨틱 레이블 맵을 활용한 픽셀 수준의 클래스 인지 감독을 제공하는 판별기 설계.
• 모든 계층에 3D 노이즈를 주입하여 다중 모드 출력을 가능하게 하는 생성기 개발.
• 최첨단 방법과 비교해 ADE20K, Cityscapes, COCO-stuff에서 이미지 품질과 다양성 향상 시연.

제안 방법

• 판별기를 N+1 클래스(실제 N개 시맨틱 클래스 + 1개의 가짜)를 위한 역주파수 가중치를 사용하는 시맨틱 세분화 네트워크로 재설계.
• LabelMix 정규화를 도입하여 판별기가 시맨틱 및 구조적 차이에 집중하도록 하고 레이블 주도 혼합 하에서 일관성을 보장.
• 생성기 학습을 시맨틱 기반 판별기를 사용하는 대립 손실로 교체.
• 3D 노이즈 텐서를 모든 레이어에 주입하여 전역 및 국소(세그먼트/픽셀당) 변이를 가능하게 하여 다중 모달 합성.
• 더 가벼운 생성기(72M 매개변수)를 만들기 위해 초기 잔차 블록 제거로 복잡성 감소.
• perceptual loss 없이도 판별기의 효과를 검증하기 위해 레이블 맵 인코딩 전략을 비교하고 아키텍처 선택을 제거화(ablate)하여 평가.

실험 결과

연구 질문

• RQ1 세그먼테이션 기반 판별기는 기존 다중 스케일 판별기보다 생성기에 더 강력하고 시맨틱하게 인식된 피드백을 제공할 수 있는가?
• RQ2 판별기가 시맨틱 인식 감독을 제공할 때 고품질의 시맨틱 이미지 합성에 지각( VGG ) 손실이 필요한가?
• RQ3 3D 노이즈 기반 다중 모달 합성은 이미지 품질 저하 없이 다양성을 향상시키는가?
• RQ4 LabelMix 정규화가 생성된 이미지의 사실성 및 시맨틱 정렬에 어떤 영향을 미치는가?

주요 결과

• OASIS는 ADE20K, Cityscapes, COCO-stuff에서 기존 방법 대비 오로지 대립적 감독만 사용하여 평균 FID 6 포인트 개선 및 mIoU 5 포인트 개선으로 최첨단 성과를 달성합니다.
• 세그먼트 기반 판별기(N+1 클래스)는 퍼셉추얼 손실과 같은 필요성을 대체하는 픽셀 단위의 시맨틱하게 인식된 피드백을 제공합니다.
• 3D 노이즈 주도 다중 모달 합성은 전역 및 국부적 등장 양상을 변화시키며 다양성을 증가시키면서 시맨틱 정렬을 유지합니다.
• SPA DE+를 OASIS 판별기로 대체하고 perceptual loss를 제거하면 FID/mIoU가 크게 향상되며; 3D 노이즈를 추가하면 다양성이 증가합니다; perceptual loss는 종종 다양성에 영향을 주고 더 나은 판별기가 없으면 FID를 저하시킬 수 있습니다.
• LabelMix 정규화는 판별기가 시맨틱 경계와 콘텐츠 차이를 존중하도록 유도하여 픽셀 수준의 현실감을 향상시킵니다.
• SPADE+와 비교했을 때 perceptual loss 없이도 OASIS가 더 나은 FID와 mIoU를 보이며 강력한 판별기 기반 감독을 보여줍니다.