[논문 리뷰] BachGAN: High-Resolution Image Synthesis from Salient Object Layout

Yandong Li, Yu Cheng외 4명|arXiv (Cornell University)|2020. 03. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 5

한 줄 요약

BachGAN은 배경 레이아웃이나 세분화 맵을 제공하지 않는 조건에서, 유의미한 물체 레이아웃(경계 상자 및 물체 카테고리)만을 입력으로 받아 고해상도 이미지를 합성하는 새로운 과제를 제안한다. 배경 검색 모듈과 배경 융합 모듈을 결합하여 현실적이고 일관된 배경을 환영적으로 생성한다. 이 방법은 Cityscapes 및 ADE20K 데이터셋에서 이미지 품질과 레이아웃 일치도에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, FID 점수와 인간 선호도 평가에서 모두 기존 기준 모델들을 능가한다.

ABSTRACT

We propose a new task towards more practical application for image generation - high-quality image synthesis from salient object layout. This new setting allows users to provide the layout of salient objects only (i.e., foreground bounding boxes and categories), and lets the model complete the drawing with an invented background and a matching foreground. Two main challenges spring from this new task: (i) how to generate fine-grained details and realistic textures without segmentation map input; and (ii) how to create a background and weave it seamlessly into standalone objects. To tackle this, we propose Background Hallucination Generative Adversarial Network (BachGAN), which first selects a set of segmentation maps from a large candidate pool via a background retrieval module, then encodes these candidate layouts via a background fusion module to hallucinate a suitable background for the given objects. By generating the hallucinated background representation dynamically, our model can synthesize high-resolution images with both photo-realistic foreground and integral background. Experiments on Cityscapes and ADE20K datasets demonstrate the advantage of BachGAN over existing methods, measured on both visual fidelity of generated images and visual alignment between output images and input layouts.

연구 동기 및 목표

• 유의미한 물체 경계 상자와 카테고리 외에 세분화 맵이나 배경 레이아웃을 요구하지 않는 최소한의 입력으로 고해상도, 사진처럼 현실적인 이미지를 생성하는 문제를 해결하기 위해.
• 배경 정보가 제공되지 않을 경우 세밀한 무늬와 현실적인 배경을 생성하는 데 어려움을 극복하기 위해.
• 단일 전경 물체와의 통합이 원활하게 이루어지는 실시간 동적 배경 환영 생성 메커니즘을 개발하기 위해.
• 레이아웃에 점진적으로 물체를 추가함으로써 제어 가능한 이미지 생성을 가능하게 하되, 시각적 일관성을 유지하기 위해.

제안 방법

• 배경 검색 모듈은 입력된 유의미한 물체 레이아웃에 기반해 대량의 후보 풀에서 관련된 세분화 맵을 선택한다.
• 배경 융합 모듈은 검색된 세분화 맵을 인코딩하여 입력 레이아웃에 맞게 조정된 통합된 환영 배경 표현을 생성한다.
• 융합된 배경 표현은 조건부 GAN 아키텍처 내에서 SPADE 정규화를 통해 전경 물체 특징과 융합되어 고해상도 이미지를 생성한다.
• 메모리 백은 대표적인 배경 레이아웃을 저장하고 검색하여 생성된 배경의 다양성과 현실성 향상에 기여한다.
• 모델은 적대적 손실과 인지적 손실을 사용해 엔드 투 엔드로 훈련되어 높은 시각적 정밀도와 레이아웃 일致성을 확보한다.
• 검색 및 융합 파이프라인은 명시적인 배경 애너테이션 없이도 동적이고 맥락 인식 가능한 배경 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 배경 레이아웃이나 세분화 맵 없이 유의미한 물체 경계 상자와 카테고리만 제공될 경우, 생성 모델이 고해상도, 사진처럼 현실적인 이미지를 생성할 수 있는가?
• RQ2 입력에서 배경 정보가 제공되지 않을 경우, 모델이 현실적이고 일관된 배경을 효과적으로 환영적으로 생성할 수 있는가?
• RQ3 레이아웃에서 직접 생성하는 것과 비교해, 검색-융합 기반 메커니즘이 배경의 일관성과 시각적 품질을 얼마나 향상시킬 수 있는가?
• RQ4 검색된 세분화 맵의 수와 메모리 백 크기가 생성된 이미지의 품질과 다양성에 어떤 영향을 미치는가?
• RQ5 레이아웃에 점진적으로 물체를 추가함으로써 제어 가능한 이미지 생성이 가능하며, 이 과정에서 시각적 일관성이 유지되는가?

주요 결과

• BachGAN은 5개의 검색된 세분화 맵을 사용할 경우 Cityscapes 데이터셋에서 Fréchet Inception Distance (FID) 점수 72.95를 기록하여 뛰어난 이미지 품질을 입증하였다.
• 인간 선호도 평가에서 BachGAN은 Layout2im보다 96.0%의 비교에서 선호되었으며, 이는 더 뛰어난 시각적 현실성과 레이아웃 일치도를 의미한다.
• BachGAN은 SPADE(85.5% 승리 비율)와 SPADE-SEG(71.7% 승리 비율)를 모두 능가하여 사용자 선호도와 이미지 품질에서 뚜렷한 향상을 보였다.
• 메모리 백 크기를 2배로 늘인 모델은 FID 점수를 73.31에서 72.50으로 개선했으며, 이는 메모리 백 크기가 성능 향상에 기여함을 시사한다.
• 제거 분석 결과, 검색된 맵 수를 3개에서 5개로 늘일 경우 FID 점수는 약간 향상되었지만 성과 향상 폭은 미미하여 실무에서 m=3를 사용하는 것이 타당함을 입증하였다.
• BachGAN은 뒤집힌 또는 비표준적인 물체 위치와 같은 레이아웃 변형에 대해 강건성을 보였으며, 현실적인 배경을 갖춘 타당하고 일관된 이미지를 생성하였다.