[논문 리뷰] Multi-Channel Attention Selection GANs for Guided Image-to-Image Translation

Hao Tang, Philip H. S. Torr외 1명|arXiv (Cornell University)|2020. 02. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 58인용 수 26

한 줄 요약

이 논문은 다중 척도 공간 풀링과 다중 채널 주의 선택을 사용하여 군집된 생성 결과를 정밀하게 보완하는 이단계적 생성 대비 네트워크인 SelectionGAN을 제안한다. 주어진 지도에 따라 이미지 간 번역을 수행하며, 주의에서 유도된 불확실성 맵을 학습하여 손실 최적화를 향상시켜 얼굴, 손, 몸체, 스트리트 뷰 번역 작업에서 성능을 향상시키며, 11개 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

We propose a novel model named Multi-Channel Attention Selection Generative Adversarial Network (SelectionGAN) for guided image-to-image translation, where we translate an input image into another while respecting an external semantic guidance. The proposed SelectionGAN explicitly utilizes the semantic guidance information and consists of two stages. In the first stage, the input image and the conditional semantic guidance are fed into a cycled semantic-guided generation network to produce initial coarse results. In the second stage, we refine the initial results by using the proposed multi-scale spatial pooling & channel selection module and the multi-channel attention selection module. Moreover, uncertainty maps automatically learned from attention maps are used to guide the pixel loss for better network optimization. Exhaustive experiments on four challenging guided image-to-image translation tasks (face, hand, body, and street view) demonstrate that our SelectionGAN is able to generate significantly better results than the state-of-the-art methods. Meanwhile, the proposed framework and modules are unified solutions and can be applied to solve other generation tasks such as semantic image synthesis. The code is available at https://github.com/Ha0Tang/SelectionGAN.

연구 동기 및 목표

• 다양한 의미 지도 유형에 일반화되는 응용에 종속되지 않는 통합 프레임워크를 개발하여 지도 기반 이미지 간 번역에 적용 가능하도록 한다.
• 특히 겹침이 적은 분포를 가진 소스 및 타겟 도메인 간의 복잡한 구조적 관계를 단일 단계 GAN이 포착하는 데에 한계가 있음을 해결한다.
• 주의 메커니즘에서 유도된 불확실성 맵을 학습하여 노이즈가 있거나 정확하지 않은 의미 지도의 영향을 줄인다.
• 계단식 생성 아키텍처에서 다중 척도 공간 풀링과 채널 선택을 통해 특징 표현을 향상시킨다.
• 지도 기반 번역을 넘어서 의미적 이미지 합성 작업으로의 확장 가능성을 보여주기 위해 프레임워크를 확장한다.

제안 방법

• 프레임워크는 이단계 계단식 아키텍처를 사용한다: 첫 번째 단계에서는 사이클형 의미 지도 기반 생성 네트워크가 이미지와 지도 쌍을 사용해 군집된 출력을 생성한다.
• 두 번째 단계에서는 다중 척도 공간 풀링 및 채널 선택 모듈이 공간 및 채널 차원에서 특징을 향상시킨다.
• 다중 채널 주의 선택 모듈은 중간 특징을 공간적으로 선택하고 통합하여 정밀한 출력을 생성한다.
• 주의 맵에서 유도된 불확실성 맵이 픽셀 손실을 유도하여, 지도가 완벽하지 않은 상황에서도 최적화를 향상시킨다.
• 모델은 생성 대비 손실, 사이클 일致성 손실, 주의 유도 복원 손실을 함께 사용하여 강력한 최적화를 수행한다.
• GauGAN과 통합하여 의미적 이미지 합성에 적용하기 위해 아키텍처를 변형하였으며, 주의 모듈을 활용해 레이아웃에서 이미지 생성을 향상시켰다.

실험 결과

연구 질문

• RQ1 다양한 지도 유형에 걸쳐 작업에 특화된 모델보다 우수한 성능을 내기 위해 통합된 이단계 GAN 프레임워크가 지도 기반 이미지 간 번역에서 효과적인가?
• RQ2 다중 척도 공간 풀링과 다중 채널 주의 선택은 이미지 번역에서 특징 표현과 이미지 세부 사항을 어떻게 향상시키는가?
• RQ3 주의 메커니즘에서 유도된 불확실성 맵이 노이즈가 있거나 정확하지 않은 의미 지도의 부정적 영향을 어느 정도 줄일 수 있는가?
• RQ4 제안된 프레임워크는 분할 맵에서 실사적인 이미지를 생성하는 것과 같은 의미적 이미지 합성 작업으로 일반화될 수 있는가?
• RQ5 계단식 설계는 구조적 정밀도와 시각적 품질 측면에서 종단 간 단일 단계 GAN보다 어떻게 비교되는가?

주요 결과

• SelectionGAN은 얼굴, 손, 몸체, 스트리트 뷰 번역을 포함한 네 가지 지도 기반 이미지 간 번역 작업에서 최신 기술(SOTA) 성능을 달성하며, 기존 방법보다 뚜렷한 향상을 보였다.
• DeepFashion 데이터셋에서 SelectionGAN++는 머리카락, 얼굴, 발과 같은 세부 사항을 더 현실적으로 생성하여 SelectionGAN보다 더 뛰어난 결과를 보였다.
• Cityscapes와 ADE20K에서의 의미적 이미지 합성 작업에서 SelectionGAN과 SelectionGAN++는 Pix2pixHD, CRN, SIMS, GauGAN보다 더 높은 mIoU와 픽셀 정확도를 달성했다.
• Cityscapes에서 SelectionGAN++는 SIMS를 제외한 모든 기준 모델보다 FID 점수에서 뛰어났으며, 동시에 뛰어난 분할 정확도를 유지했다.
• Amazon Mechanical Turk를 통한 사용자 연구 결과, 참가자들은 SelectionGAN과 SelectionGAN++가 생성한 이미지의 시각적 정밀도를 기존 방법보다 선호했다.
• 생성된 분할 맵의 시각화 결과는 GauGAN에 비해 SelectionGAN이 더 정확한 의미적 레이아웃을 생성함을 확인하였으며, 이는 더 뛰어난 현실성과 진짜 값과의 일치를 의미한다.