[논문 리뷰] Adaptive Composition GAN towards Realistic Image Synthesis

Fangneng Zhan, Jiaxing Huang외 1명|arXiv (Cornell University)|2019. 05. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 61인용 수 17

한 줄 요약

이 논문은 현실적인 이미지 생성을 위해 기하학적 구조와 외관을 동시에 최적화하는 엔드 투 엔드 학습 가능한 프레임워크인 적응형 조합 GAN(AC-GAN)을 제안한다. 계층적 합성 메커니즘과 전경 객체 적응을 위한 어텐션 마스크를 통합함으로써 AC-GAN은 잡음 요소를 줄이고 세부 사항 보존을 향상시켜, 시나리오 텍스트 합성, 포트레이트 편집 및 실내 렌더링 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Despite the rapid progress of generative adversarial networks (GANs) in image synthesis in recent years, current approaches work in either geometry domain or appearance domain which tend to introduce various synthesis artifacts. This paper presents an innovative Adaptive Composition GAN (AC-GAN) that incorporates image synthesis in geometry and appearance domains into an end-to-end trainable network and achieves synthesis realism in both domains simultaneously. An innovative hierarchical synthesis mechanism is designed which is capable of generating realistic geometry and composition when multiple foreground objects with or without occlusions are involved in synthesis. In addition, a novel attention mask is introduced to guide the appearance adaptation to the embedded foreground objects which helps preserve image details and resolution and also provide better reference for synthesis in geometry domain. Extensive experiments on scene text image synthesis, automated portrait editing and indoor rendering tasks show that the proposed AC-GAN achieves superior synthesis performance qualitatively and quantitatively.

연구 동기 및 목표

• 기존 GAN이 기하학적 구조 또는 외관을 별도로 최적화함으로써 합성 잡음이 발생하는 한계를 해결하기 위해.
• 기하학적 구조 및 외관 영역 모두에서 이미지 합성의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 다중 전경 객체와 겹침이 있는 복잡한 시나리오에서의 현실감 향상을 위해.
• 새로운 어텐션 마스크 메커니즘을 사용해 외관 적응 과정에서 고해상도 세부 사항을 보존하기 위해.

제안 방법

• 기하학적 구조와 외관 합성을 동시에 학습하는 엔드 투 엔드 학습 가능한 아키텍처를 도입한다.
• 실제 객체 조합과 공간적 레이아웃을 생성하기 위해 계층적 합성 메커니즘을 활용한다.
• 통합된 전경 객체에 특화된 외관 적응을 안내하기 위해 어テン션 마스크를 설계한다.
• 어텐션 마스크를 사용해 특징 정렬을 향상시키고 해상도 및 세밀한 디테일을 보존한다.
• 기하학적 구조 및 외관 브랜치를 교차 도메인 특징 상호작용을 통해 결합하여 현실감 향상을 도모한다.
• 고정밀도 합성 보장을 위해 adversarial 손실과 인지적 손실을 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 기하학적 구조와 외관 합성의 동시 최적화가 복잡한 이미지 생성에서 잡음 요소를 줄일 수 있는가?
• RQ2 어텐션 유도 특징 적응은 전경 객체의 세부 사항 보존에 어떻게 기여하는가?
• RQ3 계층적 합성 메커니즘은 겹침이 있는 다수의 객체를 얼마나 잘 처리할 수 있는가?
• RQ4 두 도메인의 엔드 투 엔드 학습이 단계별 또는 별도의 학습 접근 방식보다 우수한가?
• RQ5 AC-GAN은 시나리오 텍스트 합성 및 실내 렌더링과 같은 다양한 작업에서 어떻게 성능을 발휘하는가?

주요 결과

• AC-GAN은 시나리오 텍스트 이미지 합성에서 뛰어난 정성적 성능을 달성하여 더 현실적이고 일관된 텍스트 레이아웃을 생성한다.
• 모델은 얼굴 세부 사항과 현실적인 조합을 유지함으로써 자동 포트레이트 편집에서 성능 향상을 보였다.
• 실내 렌더링 작업에서는 일관된 기하학적 구조와 현실적인 질감을 갖춘 장면을 생성한다.
• 어텐션 마스크는 특히 전경 객체의 고해상도 영역에서 세부 사항 보존에 크게 기여한다.
• 정량적 평가 결과, 모든 테스트 작업에서 기준 GAN 대비 fiducial 및 인지적 지표에서 일관된 향상이 관찰되었다.
• 계층적 합성 메커니즘은 겹침이 있는 복잡한 조합을 포함한 시나리오에서도 현실감 저하 없이 견고하게 처리할 수 있었다.