[논문 리뷰] Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis

Shijie Li, Ming‐Ming Cheng외 1명|arXiv (Cornell University)|2022. 10. 08.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 소형 및 대형 객체를 동시에 잘 생성할 수 있도록 다중 스케일에서 정규화 블록에 적응적으로 조건을 적용하는 이중 인코더 아키텍처를 사용하는 새로운 생성 적대 기반 신경망인 듀얼 피라미드 GAN(DP-GAN)을 제안한다. 특징 매칭과 적대적 손실을 통해 다중 스케일 감시를 통합함으로써 DP-GAN은 기존 방법에 비해 FID를 3.6점 감소시키고 mIoU를 4.7점 향상시켜 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

The goal of semantic image synthesis is to generate photo-realistic images from semantic label maps. It is highly relevant for tasks like content generation and image editing. Current state-of-the-art approaches, however, still struggle to generate realistic objects in images at various scales. In particular, small objects tend to fade away and large objects are often generated as collages of patches. In order to address this issue, we propose a Dual Pyramid Generative Adversarial Network (DP-GAN) that learns the conditioning of spatially-adaptive normalization blocks at all scales jointly, such that scale information is bi-directionally used, and it unifies supervision at different scales. Our qualitative and quantitative results show that the proposed approach generates images where small and large objects look more realistic compared to images generated by state-of-the-art methods.

연구 동기 및 목표

• 세분화 레이블 맵에서 일관되고 현실적인 소형 및 대형 객체를 포함한 사진 수준의 이미지를 생성하는 데 도전하는 것.
• 스케일에 민감하지 않은 조건 조절로 인해 발생하는 패치 또는 흐린 객체를 유발하는 기존 GAN의 한계를 극복하는 것.
• 생성자와 판별자 모두에서 다중 스케일 감시를 통합하여 입력 레이아웃과의 정렬을 향상시키는 것.
• 교통 표지판이나 보도등과 같은 얇거나 작은 구조물의 객체 수준의 현실감을 향상시키는 것.
• 정확한 세분화 정렬을 유지하면서 이미지 생성의 일반화 능력과 다양성을 향상시키는 것.

제안 방법

• 세분화 맵의 맥락과 공간적 적응을 위한 두 개의 병렬 특징 피라미드를 사용하여 스케일 적응형 조건 조절을 학습하는 이중 피라미드 생성자 도입.
• 다중 스케일 적대적 손실($\mathcal{L}_{ms}$)과 다중 스케일 특징 매칭 손실($\mathcal{L}_{fm}$)을 통해 다중 스케일 감시를 수행하는 세분화 기반 판별자 사용.
• 생성자의 정규화 레이어가 원본 레이블 맵과 스케일 인식 특징 피라미드 양쪽에 조건을 받는 이중 경로 아키텍처를 적용하여 더 나은 스케일 일반화를 달성.
• 특징 매칭 손실($\mathcal{L}_{fm}$)을 판별자의 디코더 브랜치에 특별히 적용하여 실제 이미지와의 특징 수준 정렬을 향상시킴.
• 다양한 해상도에서 픽셀 단위의 세분화 감시, 적대적 손실, 특징 매칭 손실을 조합하여 스케일 간 감시를 통합.
• 랜덤 노이즈 벡터 $z$ 를 입력으로 사용하여 각 레이블 맵당 다수의 현실적인 샘플을 생성할 수 있도록 다각도의 출력을 가능하게 함.

실험 결과

연구 질문

• RQ1 이중 피라미드 아키텍처는 객체의 스케일에 따라 정규화 조건을 적응적으로 조절함으로써 소형 및 대형 객체의 생성을 향상시킬 수 있는가?
• RQ2 생성자와 판별자 양쪽에서 다중 스케일 감시를 적용하면 입력 세분화 레이아웃과의 정렬이 향상되고 현실감이 향상되는가?
• RQ3 특징 매칭 손실($\mathcal{L}_{fm}$)의 배치가 세분화 기반 GAN의 성능에 어떤 영향을 미치는가?
• RQ4 통합된 다중 스케일 훈련 프레임워크는 FID와 mIoU 지표에서 기존 SOTA 방법을 초월할 수 있는가?
• RQ5 제안된 방법은 SPADE와 OASIS에 비해 패치 또는 흐린 객체와 같은 아티팩트를 얼마나 줄일 수 있는가?

주요 결과

• DP-GAN은 FID 44.1을 기록하여 OASIS(47.7) 대비 3.6점 향상시켜 이미지 품질이 크게 향상됨을 나타낸다.
• mIoU 점수는 73.6을 기록하여 OASIS(69.3) 대비 4.7점 향상되어 지도 데이터와의 우수한 세분화 정렬을 보여준다.
• 객체 수준의 mIoU는 61.5에서 67.4로 5.9점 향상되어 객체 수준의 현실감과 세부 사항에서 뚜렷한 향상을 보였다.
• 판별자의 인코더 브랜치에 다중 스케일 적대적 손실($\mathcal{L}_{ms}$)을 추가하면 최고의 성능을 기록하며 FID와 mIoU가 향상된다.
• 특징 매칭 손실($\mathcal{L}_{fm}$)을 디코더에 적용할 경우 mIoU가 3.7점 향상되지만, 인코더에 적용할 경우 성능 저하가 발생한다.
• 절단 실험 결과, 제안된 생성자와 판별자의 조합이 필수적임을 확인하였으며, 별도로 사용할 경우 최적의 성능을 내지 못함을 보여줌.