[논문 리뷰] Multi-Channel Attention Selection GAN with Cascaded Semantic Guidance for Cross-View Image Translation

Hao Tang, Dan Xu외 4명|arXiv (Cornell University)|2019. 04. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 54인용 수 25

한 줄 요약

이 논문은 서로 다른 시점에서 촬영된 이미지 간의 번역을 위해 이중 단계형 생성 적대 신경망인 SelectionGAN을 제안한다. 이는 계층적 의미 지도와 다중 채널 주의 선택 모듈을 활용하여 임의의 시점에서 고해상도이고 사진처럼 사실적인 이미지를 생성한다. 주어진 이미지의 구조적 정확성과 세부 정보 유지 능력을 높이기 위해 주의 기반 특징 선택과 불확실성 인식 손실 지도를 통해 군집된 출력을 개선함으로써, Dayton, CVUSA, Ego2Top 데이터셋에서 기존 방법들을 크게 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Cross-view image translation is challenging because it involves images with drastically different views and severe deformation. In this paper, we propose a novel approach named Multi-Channel Attention SelectionGAN (SelectionGAN) that makes it possible to generate images of natural scenes in arbitrary viewpoints, based on an image of the scene and a novel semantic map. The proposed SelectionGAN explicitly utilizes the semantic information and consists of two stages. In the first stage, the condition image and the target semantic map are fed into a cycled semantic-guided generation network to produce initial coarse results. In the second stage, we refine the initial results by using a multi-channel attention selection mechanism. Moreover, uncertainty maps automatically learned from attentions are used to guide the pixel loss for better network optimization. Extensive experiments on Dayton, CVUSA and Ego2Top datasets show that our model is able to generate significantly better results than the state-of-the-art methods. The source code, data and trained models are available at https://github.com/Ha0Tang/SelectionGAN.

연구 동기 및 목표

• 보면이 겹치지 않거나 기하학적 변형이 심한 상황에서 교차 시점 이미지 번역 문제를 해결하기 위해.
• 정답 의미 레이블이 정확하지 않을 경우에도 의미 맵을 조건부 지도로 활용하여 이미지 합성 품질을 향상시키기 위해.
• 단일 단계 GAN이 서로 다른 시점 간의 복잡한 구조적 관계를 포착하는 데에 한계가 있음을 해결하기 위해.
• 주의 기반 정밀 조정을 갖춘 군집에서 정밀으로 향상되는 이중 단계 아키텍처를 통해 세밀한 세부 정보 생성을 향상시키기 위해.
• 약한 지도된 의미 레이블의 불확실성을 고려한 강력한 최적화 전략을 개발하기 위해.

제안 방법

• 이 방법은 이중 단계 프레임워크를 사용한다: 제1단계는 원본 이미지와 목표 의미 맵을 입력으로 받아 순환적 의미 지도 기반 생성 네트워크를 사용해 군집된 이미지 및 의미 맵 예측을 생성한다.
• 제2단계는 다중 채널 주의 선택 모듈을 적용하여 다수의 중간 특징 맵을 생성하고, 학습된 주의 가중치를 통해 공간적으로 선택 및 통합하여 정제된 출력을 만든다.
• 주의 맵은 불확실성 맵을 생성하는 데 사용되며, 이는 노이즈가 많은 의미 지도 지도 하에서 최적화의 안정성을 향상시키는 픽셀 복원 손실을 지도한다.
• 주목적 선택 단계 이전에 특징 표현을 풍부하게 하기 위해 다중 척도 공간 풀링 모듈을 적용한다.
• 모델는 생성 적대 손실, 사이클 일致성 손실, 총 변동성 정규화를 사용하여 훈련함으로써 구조적 정밀도와 매끄러움을 향상시킨다.
• 기존의 항공-지상 시점 쌍을 넘어서도 임의의 교차 시점 번역을 지원하기 위해 기준 이미지와 새로운 의미 맵을 조건으로 삼는다.

실험 결과

연구 질문

• RQ1 의미 지도를 갖춘 이중 단계, 군집에서 정밀으로 향상되는 GAN 아키텍처가 시점 겹침이 적은 경우 교차 시점 이미지 번역 품질을 크게 향상시킬 수 있는가?
• RQ2 다중 채널 주의 선택이 중간 특징 맵을 정밀 조정하여 더 나은 이미지 세부 정보 생성에 얼마나 효과적인가?
• RQ3 의미 기반 주의 메커니즘에서 유도된 불확실성 맵이 의미 레이블이 완벽하지 않은 상황에서 학습 안정성과 성능 향상에 기여하는가?
• RQ4 사이클 일치성을 통한 계층적 의미 지도가 생성된 이미지의 구조 일관성에 기여하는가?
• RQ5 제안된 방법이 쌍으로 구성된 항공-지상 시점 번역을 넘어서도 임의의 교차 시점 번역에 일반화 가능한가?

주요 결과

• SelectionGAN은 CVUSA, Dayton, Ego2Top 데이터셋에서 Pix2pix, Zhai et al., X-Fork, X-Seq를 모두 초월하는 최신 기술 수준의 성능을 달성하였으며, Inception Score를 제외한 모든 지표에서 승리하였다.
• 제거 실험 결과, 다중 채널 주의 선택 모듈을 사용할 경우 기준 모델 F 대비 4.67점의 SSIM 향상을 확인하여 이미지 품질 향상에 효과적임을 입증하였다.
• 픽셀 손실을 유도하기 위해 불확실성 맵을 사용한 결과, 기준 모델 대비 SD에서 0.3205점 향상되고 PSNR에서 3.1771점 향상되었다.
• 제1단계에서 순환적 의미 생성을 통해 비의미 기반 기준 모델 대비 SSIM, PSNR, SD가 각각 8.19점, 3.1771점, 0.3205점 향상되어 의미 지도의 가치를 입증하였다.
• 정성적 결과에서는 SelectionGAN이 더 선명하고 사진처럼 사실적인 이미지를 생성하며, 도로, 나무, 건물 屋根 등의 더 잘 정의된 레이아웃을 보여주었다.
• 모델는 Ego2Top 데이터셋에서 단일 기준 이미지와 의미 맵을 사용하여 새로운 시점에서 일관되고 현실적인 이미지를 생성함으로써, 임의의 교차 시점 번역을 성공적으로 수행하였다.