[논문 리뷰] Semantic Image Synthesis with Spatially-Adaptive Normalization

Taesung Park, Ming-Yu Liu외 2명|arXiv (Cornell University)|2019. 03. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 57인용 수 261

한 줄 요약

입력 시맨틱 레이아웃으로 활성화를 조절하는 공간적으로 적응하는 정규화 계층인 SPADE를 소개하여 시맨틱 정보를 보존하고 다중 모달 및 스타일 가이드 제어를 통해 레이아웃 일관된 고충실도 이미지 합성을 가능하게 한다.

ABSTRACT

We propose spatially-adaptive normalization, a simple but effective layer for synthesizing photorealistic images given an input semantic layout. Previous methods directly feed the semantic layout as input to the deep network, which is then processed through stacks of convolution, normalization, and nonlinearity layers. We show that this is suboptimal as the normalization layers tend to ``wash away'' semantic information. To address the issue, we propose using the input layout for modulating the activations in normalization layers through a spatially-adaptive, learned transformation. Experiments on several challenging datasets demonstrate the advantage of the proposed method over existing approaches, regarding both visual fidelity and alignment with input layouts. Finally, our model allows user control over both semantic and style. Code is available at https://github.com/NVlabs/SPADE .

연구 동기 및 목표

• Conditional 이미지 합성에서 정규화 과정에서 시맨틱 정보를 보존하도록 동기를 부여한다.
• 시맨틱 레이아웃을 사용해 공간적으로 활성화를 변조하는 정규화 계층을 개발한다.
• 앞서 큰 인코더-디코더를 설치하지 않고도 시맨틱 전파를 활용하는 컴팩트한 제너레이터를 구축한다.
• 노이즈나 스타일 이미지를 통해 다중 모달 및 스타일-가이드 이미지 합성을 제어한다.
• 도전적인 데이터셋에서 최첨단 방법 대비 개선점을 보이도록 평가한다.

제안 방법

• SPADE를 정의한다: 시맨틱 마스크 m에 조건화된 학습된 공간적으로 변화하는 어파인 변환(감마, 베타).
• 합성곱 이후의 전통적인 정규화를 SPADE로 대체하여 모든 레이어에서 입력 시맨틱을 보존한다.
• ResNet 블록과 업샘플링으로 구성된 경량 제너레이터를 사용하되 모든 정규화 층을 SPADE로 변조한다.
• 다중 스케일 판별기와 pix2pixHD 유사 손실로 학습하되 최소자승이 아닌 힌지 손실을 사용한다.
• 임의 벡터를 입력으로 넣어 다중 모달 합성을 가능하게 하여 동일한 시맨틱 레이아웃에 대해 다양한 출력을 제공한다.
• 원하면 스타일 가이드를 위해 이미지 인코더를 포함시켜 스타일 제어 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 공간적으로 적응하는 변조가 무조건적 또는 전역적으로 조건부 정규화보다 시맨틱 정보를 더 잘 보존하는가?
• RQ2 SPADE 기반 제너레이터가 COCO-Stuff, ADE20K, Cityscapes 등 다양한 데이터셋에서 시각적 충실도와 시맨틱 정렬성을 더 높게 달성하는가?
• RQ3 SPADE가 다중 모달 및 스타일 가이드 합성을 현실감이나 시맨틱 정확성을 희생하지 않고 지원하는가?
• RQ4 제안된 접근법이 표준 지표에서 pix2pixHD, CRN, SIMS와 같은 강력한 baselines에 비해 어떻게 수행하는가?
• RQ5 아키텍처 및 ablative 선택(커널 크기, 입력 유형, 정규화 변형)이 SPADE 성능에 어떤 영향을 미치는가?

주요 결과

• SPADE 기반 제너레이터는 COCO-Stuff, ADE20K, ADE20K-outdoor, Cityscapes에서 이전 방법들보다 mIoU와 픽셀 정확도가 현저히 향상된다.
• COCO-Stuff에서 mIoU가 37.4로 상승(FID 22.6, 이전 CRN의 23.7 대비 향상)되어 더 높은 충실도와 더 나은 시맨틱 정렬을 나타낸다.
• ADE20K에서 mIoU가 38.5로 상승(FID 33.9, 이전 CRN의 22.4 대비 향상)으로 야외 및 복잡한 장면에서 강한 이득을 보인다.
• Cityscapes에서 mIoU가 62.3으로, FID 71.8로 경쟁 방법들을 능가한다.
• 정성적 결과가 더 현실적인 질감을 보이고 인위적 인공물은 줄어들며, 다양한 데이터셋에서 SPADE 생성 이미지에 대한 사용자 선호도가 높다.
• 프레임워크가 다중 모달 출력 및 스타일-가이드를 유지하면서 레이아웃 충실성을 보장한다.