[논문 리뷰] Weather GAN: Multi-Domain Weather Translation Using Generative Adversarial Networks

Xuelong Li, Kai Kou외 1명|arXiv (Cornell University)|2021. 03. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 24

한 줄 요약

이 논문은 햇빛, 흐린 날씨, nebl, 비, 눈 내리는 조건 간 이미지 간 전환을 위한 새로운 생성 적대적 네트워크인 Weather GAN을 제안한다. 기상 조건 단서 분할 모듈, 주의 모듈, 초기 전환 모듈을 통합함으로써 모델은 기상 특징을 정확히 식별하고 변환하면서도 비기상 영역을 유지하여 시각적 품질과 기상 카테고리 정확도에서 최고 수준의 성능을 달성한다.

ABSTRACT

In this paper, a new task is proposed, namely, weather translation, which refers to transferring weather conditions of the image from one category to another. It is important for photographic style transfer. Although lots of approaches have been proposed in traditional image translation tasks, few of them can handle the multi-category weather translation task, since weather conditions have rich categories and highly complex semantic structures. To address this problem, we develop a multi-domain weather translation approach based on generative adversarial networks (GAN), denoted as Weather GAN, which can achieve the transferring of weather conditions among sunny, cloudy, foggy, rainy and snowy. Specifically, the weather conditions in the image are determined by various weather-cues, such as cloud, blue sky, wet ground, etc. Therefore, it is essential for weather translation to focus the main attention on weather-cues. To this end, the generator of Weather GAN is composed of an initial translation module, an attention module and a weather-cue segmentation module. The initial translation module performs global translation during generation procedure. The weather-cue segmentation module identifies the structure and exact distribution of weather-cues. The attention module learns to focus on the interesting areas of the image while keeping other areas unaltered. The final generated result is synthesized by these three parts. This approach suppresses the distortion and deformation caused by weather translation. our approach outperforms the state-of-the-arts has been shown by a large number of experiments and evaluations.

연구 동기 및 목표

• 이미지-이미지 전환 작업에서 다중 카테고리 기상 전환의 유연성 부족 문제를 해결하기 위해.
• 기존의 단일 조건 기반 접근 방식(예: 안개 또는 비 제거)이 기상 카테고리 변경이나 새로운 기상 효과 추가 기능을 수행할 수 없다는 점을 개선하기 위해.
• 기상 조건 단서(예: 구름, 눈, 젖은 지면)를 정확히 변환하면서도 비기상 영역을 유지하기 위해.
• 고해상도의 시각적 정확도를 확보할 수 있는 이중 방향 및 다중 도메인 기상 전환 프레임워크를 개발하기 위해.
• 정량적 지표, 분류 정확도, 사용자 연구를 통해 모델 성능을 평가하기 위해.

제안 방법

• 생성자 아키텍처는 세 가지 모듈을 통합한다: 전역 스타일 전환을 위한 초기 전환 모듈, 기상 특징을 식별하고 국소화하기 위한 기상 조건 단서 분할 모듈, 관련 이미지 영역에 집중하기 위한 주의 모듈.
• 기상 조건 단서 분할 모듈은 의미 분할을 사용하여 입력 이미지 내 기상 조건 단서(예: 파란 하늘, 눈, 안개)의 공간 분포를 감지하고 매핑한다.
• 주의 모듈은 특히 기상 관련 영역에 집중하면서도 이미지의 관련 없는 부분에 대한 변화를 최소화한다.
• 최종 이미지는 세 모듈의 출력을 융합하여 합성되며, 이로 인해 구조적 일관성과 왜곡 감소가 보장된다.
• 모델은 생성 적대적 손실, 사이클 일관성 손실, 지각적 손실을 포함한 GAN 프레임워크를 사용하여 훈련되어 현실감과 특징 일치를 향상시킨다.
• 절단 실험을 통해 주의 모듈과 분할 모듈의 필요성을 검증하였으며, 둘 중 하나를 제거할 경우 기하학적 왜곡이나 자연스럽지 않은 융합이 발생하는 것을 확인하였다.

실험 결과

연구 질문

• RQ1 기반 GAN 모델이 다섯 가지의 서로 다른 기상 조건 간 양방향 및 다중 도메인 기상 전환을 효과적으로 수행할 수 있는가?
• RQ2 기상 조건 단서 분할과 주의 메커니즘은 이미지 전환에서 기상 특징에 특화된 지역화 및 변환을 어떻게 향상시킬 수 있는가?
• RQ3 다양한 모듈의 융합이 기상 전환 과정에서 왜곡을 줄이고 비기상 영역을 어떻게 유지하는가?
• RQ4 시각적 품질, 카테고리 정확도, 사용자 선호도 측면에서 Weather GAN은 최신 기술 대비 어떻게 비교되는가?
• RQ5 중요한 시야 차단 또는 저조도 이미지에서 모델의 실패 모드는 어떠한가?

주요 결과

• Weather GAN은 생성된 이미지에서 기상 분류 정확도가 최고 87%를 기록하여 목표 기상 카테고리와 강한 일치를 보였다.
• 기존 최신 기술 대비 FID 및 KID 지표에서 최고 성능을 기록하여 뛰어난 이미지 품질과 분포 충실도를 입증하였다.
• 사용자 연구 결과, Weather GAN이 생성한 결과물이 비교된 모든 접근 방식 중에서 시각적 품질에서 가장 높은 순위를 기록하였다.
• 절단 실험 결과, 주의 모듈 또는 분할 모듈을 제거할 경우 기하학적 왜곡, 비기상 영역의 잘못된 전환, 자연스럽지 않은 경계 등 심각한 문제 발생을 확인하였다.
• 비슷한 기상 조건 간 전환(예: 햇빛 → 흐린 날씨)에서 가장 우수한 성능을 보였으며, 눈 오는 날씨에서 안개 낀 날씨로의 전환과 같은 더 복잡한 전환에서는 정확도가 45%로 떨어졌다.
• 중요한 시야 차단이 있는 장면(예: 빽빽한 눈이나 안개)에서는 구조적 세부 정보 복원이 어려워 블러와 색상 왜곡이 발생하지만, 주의 맵핑은 정확하게 유지되는 경우가 있었다.