[논문 리뷰] Spatial Fusion GAN for Image Synthesis

Fangneng Zhan, Hongyuan Zhu외 1명|arXiv (Cornell University)|2018. 12. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 56인용 수 8

한 줄 요약

이 논문은 지오메트리 공간과 아웃핏 스페이스에서 동시에 현실감을 구현하기 위해 지오메트리 합성기와 아웃핏 합성기를 가이드 필터링과 통합한 엔드 투 엔드 훈련 가능한 생성 모델인 Spatial Fusion GAN(SF-GAN)을 제안한다. 이 방법은 시나리오 텍스트 이미지와 포트레이트 착용 이미지 생성에서 최신 기술들을 능가하며, 베이스라인 GAN보다 인식 정확도를 6% 향상시킨다.

ABSTRACT

Recent advances in generative adversarial networks (GANs) have shown great potentials in realistic image synthesis whereas most existing works address synthesis realism in either appearance space or geometry space but few in both. This paper presents an innovative Spatial Fusion GAN (SF-GAN) that combines a geometry synthesizer and an appearance synthesizer to achieve synthesis realism in both geometry and appearance spaces. The geometry synthesizer learns contextual geometries of background images and transforms and places foreground objects into the background images unanimously. The appearance synthesizer adjusts the color, brightness and styles of the foreground objects and embeds them into background images harmoniously, where a guided filter is introduced for detail preserving. The two synthesizers are inter-connected as mutual references which can be trained end-to-end without supervision. The SF-GAN has been evaluated in two tasks: (1) realistic scene text image synthesis for training better recognition models; (2) glass and hat wearing for realistic matching glasses and hats with real portraits. Qualitative and quantitative comparisons with the state-of-the-art demonstrate the superiority of the proposed SF-GAN.

연구 동기 및 목표

• 기존 GAN이 지오메트리 공간 또는 아웃핏 스페이스에서만 현실감을 구현할 수 있는 한계를 해결하기 위해.
• 최소한의 감독 하에 기하학적 및 아웃핏 합성의 통합 프레임워크를 위한 엔드 투 엔드 훈련을 개발하기 위해.
• 딥 러닝 모델 훈련을 위한 고품질의 현실감 있는 이미지를 생성하기 위해, 특히 시나리오 텍스트 및 포트레이트 착용 응용 분야에서.
• GAN으로 생성된 이미지가 인식 모델 성능 향상에 어떻게 기여하는지 조사하기 위해.

제안 방법

• SF-GAN은 배경의 맥락적 기하학을 학습하고, 전단 변환(예: 투명판 스플라인)을 적용하여 전경 물체를 배경에 정렬하는 지오메트리 합성기를 사용한다.
• 가이드 필터를 사용하여 전경 물체의 색상, 밝기, 스타일을 조정함으로써 아웃핏 전달 중 세부 정보를 유지한다.
• 지오메트리 합성기와 아웃핏 합성기는 상호 참고 관계를 맺어 엔드 투 엔드 훈련 중 공동 최적화를 가능하게 한다.
• 진짜 이미지와 생성된 이미지를 구분하도록 디스크림네이터를 사용하여 현실감을 강제로 유도하며, 이는 양쪽 합성기 모두를 이끄는 데 사용된다.
• 완전한 감독 없이도, 적대적 손실과 지각적 손실을 통해 정렬과 현실감을 확보한다.
• 가이드 필터는 GAN 기반 스타일 전달에서 흔히 발생하는 세부 정보 손실을 줄이기 위해 아웃핏 브랜치에 특별히 통합되었다.

실험 결과

연구 질문

• RQ1 GAN이 이미지 합성에서 기하학적 공간과 아웃핏 스페이스 양쪽에서 동시에 현실감을 달성할 수 있는가?
• RQ2 기하학적 합성과 아웃핏 합성 간의 상호작용은 단일 모odal 접근 방식에 비해 이미지의 현실감을 어떻게 향상시키는가?
• RQ3 GAN으로 생성된 이미지는 하류 인식 모델의 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 시나리오 텍스트 합성 및 포트레이트 착용과 같은 다양한 이미지 구성 작업에 일반화될 수 있는가?

주요 결과

• 시나리오 텍스트 이미지에 대해 AMT 사용자 연구에서 SF-GAN은 57.7%의 현실감 점수를 기록했으며, ST-GAN(31.6%) 및 기타 최신 기술들을 크게 앞서며 뚜렷한 우월성을 보였다.
• 포트레이트 착용 작업에서는 AMT에서 67.3%의 현실감 분류 정확도를 기록했으며, ST-GAN(42.6%)을 뛰어넘어 뛰어난 아웃핏과 기하학적 조화를 보였다.
• 인식 모델 훈련에 사용되었을 때, SF-GAN은 기준 SF-GAN 대비 평균 인식 정확도를 6% 향상시켜, 모델 프리트레인닝에 있어 실용성을 입증했다.
• 가이드 필터 구성 요소는 아웃핏 전달 중 세부 정보를 효과적으로 유지하여 다른 GAN에서 흔히 발생하는 아티팩트를 감소시켰다.
• 기하학적 및 아웃핏 브랜치 간의 상호 연결은 기하학적 정렬 측면에서 기하학적 전용 모델보다 우수한 성능을 보였으며, 훈련 과정에서 상호 강화가 이루어졌음을 시사했다.
• 모델는 투명판 스플라인 변환을 사용하여 곡선 텍스트 이미지를 성공적으로 합성하여 복잡한 기하학적 왜곡에 대한 강건성을 입증했다.