[논문 리뷰] Dual Attention GANs for Semantic Image Synthesis

Hao Tang, Song Bai외 1명|arXiv (Cornell University)|2020. 08. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 4

한 줄 요약

이 논문은 위치 기반 공간 주의 모듈과 스케일 기반 채널 주의 모듈을 통합함으로써 사진처럼 사실적인 이미지 생성을 향상시키는 새로운 프레임워크인 이중 주의 GAN(DAGAN)을 제안한다. 아키텍처 변경이나 추가 학습 없이 공간 및 채널 차원에서의 의미 일관성을 모델링함으로써, 더 적은 파라미터로 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법들에 비해 블러와 잡음이 크게 감소한다.

ABSTRACT

In this paper, we focus on the semantic image synthesis task that aims at transferring semantic label maps to photo-realistic images. Existing methods lack effective semantic constraints to preserve the semantic information and ignore the structural correlations in both spatial and channel dimensions, leading to unsatisfactory blurry and artifact-prone results. To address these limitations, we propose a novel Dual Attention GAN (DAGAN) to synthesize photo-realistic and semantically-consistent images with fine details from the input layouts without imposing extra training overhead or modifying the network architectures of existing methods. We also propose two novel modules, i.e., position-wise Spatial Attention Module (SAM) and scale-wise Channel Attention Module (CAM), to capture semantic structure attention in spatial and channel dimensions, respectively. Specifically, SAM selectively correlates the pixels at each position by a spatial attention map, leading to pixels with the same semantic label being related to each other regardless of their spatial distances. Meanwhile, CAM selectively emphasizes the scale-wise features at each channel by a channel attention map, which integrates associated features among all channel maps regardless of their scales. We finally sum the outputs of SAM and CAM to further improve feature representation. Extensive experiments on four challenging datasets show that DAGAN achieves remarkably better results than state-of-the-art methods, while using fewer model parameters. The source code and trained models are available at https://github.com/Ha0Tang/DAGAN.

연구 동기 및 목표

• 기존 GAN 기반 방법이 약한 의미 제약 조건과 忽시된 구조적 상관관계로 인해 블러되고 일관성 없는 출력을 내는 데서 기인하는 한계를 해결하기 위해.
• 특징 표현에서 공간 및 채널 방향 주의를 명시적으로 모델링하여 클래스 내 의미 일관성을 향상시키기 위해.
• 기존 GAN 아키텍처에 수정 없이 원활하게 통합될 수 있는 경량이며 일반적인 목적의 모듈을 설계하기 위해.
• 다양한 데이터셋, 특히 고해상도 및 세밀한 물체 합성에 있어서 뛰어난 이미지 품질과 의미 일관성을 달성하기 위해.

제안 방법

• 동일한 의미 레이블을 가진 픽셀 간의 관련성을 공간 거리와 무관하게 계산하는 위치 기반 공간 주의 모듈(SAM)을 제안하여 국소적 및 전역적 의미 일관성을 향상시킨다.
• 다양한 스케일과 채널에서 특징 맵을 적응적으로 재조정하는 스케일 기반 채널 주의 모듈(CAM)을 도입하여 관련 특징을 강조함으로써 표현력을 향상시킨다.
• SAM과 CAM의 출력을 원소별 덧셈으로 조합하여 특징 표현을 풍부화하고 의미 일관성을 강화한다.
• 기본 GAN 프레임워크(생성자 및 판별자)를 사용하며, 제안된 주의 모듈은 백본 아키텍처를 변경하지 않고 생성자에 삽입된다.
• 전체 맥락 기반으로 주의 가중치를 계산하는 학습 가능한 주의 메커니즘을 활용하여 모델이 의미적으로 관련된 영역과 특징에 집중할 수 있도록 한다.
• 적대적 손실과 인지적 손실을 사용하여 전체 DAGAN 모델을 엔드 투 엔드로 학습시켜 현실적이며 의미적으로 정확한 이미지 합성을 보장한다.

실험 결과

연구 질문

• RQ1 공간 및 채널 방향 주의를 동시에 모델링하면 생성된 이미지의 의미 일관성 향상에 기여하는가?
• RQ2 기존의 GAN 기반 방법에 비해 제안된 주의 메커니즘이 블러와 잡음 감소에 기여하는가?
• RQ3 주의 모듈은 아키텍처 변경 없이 기존 GAN 아키텍처에 적용 가능하며 추가 학습 비용 없이 작동하는가?
• RQ4 다양한 해상도와 물체 복잡도를 가진 다양한 데이터셋에서 이중 주의 메커니즘의 효과는 어떠한가?

주요 결과

• Cityscapes 데이터셋에서 DAGAN은 mIoU 66.1을 달성하여 기준 모델(61.3) 대비 4.8점 향상되며 강력한 의미 일관성을 입증한다.
• Cityscapes에서의 FID 점수는 60.3으로 기준 모델(71.8) 대비 11.5점 감소하여 이미지의 현실성과 다양성이 크게 향상됨을 시사한다.
• 최신 기술 수준의 GauGAN에 비해 DAGAN은 더 정확하고 일관성 있는 의미 맵을 생성하며, 도로 및 차량과 같은 물체 영역에서 뚜렷한 향상이 확인된다.
• 제거 실험 결과, SAM과 CAM-II를 병합한 조합이 가장 뛰어난 성능을 보이며, Cai 등(2019)과 같은 이전 방법에 비해 큰 격차를 확보한다.
• 제안된 모듈은 경량이며 일반화 가능하여 기존 GAN 프레임워크에 거의 영향을 주지 않는 계산 오버헤드로 통합이 가능하다.