[논문 리뷰] Adverse Weather Image Translation with Asymmetric and Uncertainty-aware GAN

Jeong-gi Kwak, Youngsaeng Jin외 4명|arXiv (Cornell University)|2021. 12. 08.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 비오는 밤 이미지를 청명한 낮 풍경으로 변환하기 위한 새로운 비대칭적이고 불확실성 인식 GAN인 AU-GAN을 제안한다. 정상 도메인 생성자에 특징 전달 네트워크를 도입하고, 비대칭적 특징 매칭 및 불확실성 인식 사이클 일致 손실을 활용하여, 아티팩트를 효과적으로 줄이고 분리도를 향상시켜 BDD100K 및 Alderley 데이터셋에서 정성적·정량적 평가에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Adverse weather image translation belongs to the unsupervised image-to-image (I2I) translation task which aims to transfer adverse condition domain (eg, rainy night) to standard domain (eg, day). It is a challenging task because images from adverse domains have some artifacts and insufficient information. Recently, many studies employing Generative Adversarial Networks (GANs) have achieved notable success in I2I translation but there are still limitations in applying them to adverse weather enhancement. Symmetric architecture based on bidirectional cycle-consistency loss is adopted as a standard framework for unsupervised domain transfer methods. However, it can lead to inferior translation result if the two domains have imbalanced information. To address this issue, we propose a novel GAN model, i.e., AU-GAN, which has an asymmetric architecture for adverse domain translation. We insert a proposed feature transfer network (${T}$-net) in only a normal domain generator (i.e., rainy night-> day) to enhance encoded features of the adverse domain image. In addition, we introduce asymmetric feature matching for disentanglement of encoded features. Finally, we propose uncertainty-aware cycle-consistency loss to address the regional uncertainty of a cyclic reconstructed image. We demonstrate the effectiveness of our method by qualitative and quantitative comparisons with state-of-the-art models. Codes are available at https://github.com/jgkwak95/AU-GAN.

연구 동기 및 목표

• 악천후 조건에서 비대칭 GAN의 한계를 해결하기 위해 비대칭 GAN의 한계를 해결하기 위한 목표.
• 저조도, 비, 흐림 등의 이미지에서 아티팩트를 줄이고 구조적 세부 정보를 유지함으로써 번역 품질을 향상시키기 위한 목표.
• 재구성된 이미지의 지역적 불확실성을 모델링하여 훈련 중에 노이즈 또는 손상된 영역에 대한 과도한 페널티를 줄이기 위한 목표.
• 악천후 이미지와 표준 기상 이미지 사이의 큰 도메인 갭에도 불구하고 도메인 불변 및 도메인 특화 특징의 효과적인 분리도를 달성하기 위한 목표.
• 악천후 도메인에서의 특징 표현을 번역 과정 중에 향상시키기 위한 강건한 비대칭 프레임워크 개발을 위한 목표.

제안 방법

• 악천후 도메인에서 정상 도메인으로 번역하는 생성자(비오는 밤 → 낮)에만 인코더와 디코더 사이에 특징 전달 네트워크(T-net)를 포함한 비대칭 GAN 아키텍처를 제안하여 인코딩된 특징을 정밀하게 보정한다.
• 지역 객체를 제거하지 않고도 도메인 불변 및 도메인 특화 특징의 분리도를 향상시키기 위해 비대칭적 특징 매칭 손실을 도입한다.
• 신뢰도 맵을 기반으로 페널티를 동적으로 조정하는 불확실성 인식 사이클 일치 손실을 개발하여 순환 재구성에서 아티팩트의 영향을 줄인다.
• 생성된 이미지의 고수준 의미론적 특성과 현실감을 유지하기 위해 인지 손실과 적대적 손실을 활용한다.
• 공유된 콘텐츠 공간을 통해 일致성을 강제하면서도, 비대칭적 특징 보정을 통해 정보 불균형을 처리할 수 있도록 한다.
• 재구성에서 불확실한 영역의 가중치를 낮추는 수정된 목표 함수를 사용하여 사이클 일치 손실과 인지 손실을 함께 훈련한다.

실험 결과

연구 질문

• RQ1 비대칭 GAN 아키텍처는 대칭 대비 악천후 조건에서 이미지 번역 품질을 향상시키는가?
• RQ2 정상 도메인 생성자에 특징 전달 네트워크를 통합함으로써 특징 보정과 아티팩트 감소에 어떤 영향을 미치는가?
• RQ3 불확실성 인식 사이클 일치 손실이 순환 재구성에서 아티팩트의 전파를 어느 정도 줄이는가?
• RQ4 비대칭적 특징 매칭은 도메인 불변 콘텐츠와 도메인 특화 노이즈 및 왜곡의 분리도를 향상시키는가?
• RQ5 제안된 방법은 낮 ↔ 밤과 같은 이방향 번역으로 일반화되며 높은 시각적 정확도를 유지하는가?

주요 결과

• AU-GAN은 아티팩트가 적고 도로 및 물체 구조를 더 잘 유지하면서도, 비오는 밤 이미지를 청명한 낮 풍경으로 변환하는 데 뛰어난 시각적 품질을 달성한다.
• 불확실성 인식 사이클 일치 손실은 특히 반사나 흐림이 있는 영역에서 순환 재구성의 오진 양성률을 크게 감소시킨다.
• 정성적 비교 결과 AU-GAN은 CycleGAN, UNIT, ToDayGAN, ForkGAN보다 물체 정체성과 시점 맥락을 더 잘 유지한다.
• 고해상도 이미지(512×1024)에서도 강건성을 보이며, 수렴 문제와 아티팩트가 발생하는 경향이 있어 아키텍처 개선 여지가 있음을 시사한다.
• 실패 케이스 분석 결과, 일반적인 시점 요소(예: 거리 나무)에 편향되어 어두운 영역나 특징이 없는 영역(예: 건물, 도로)에서 환영 구조가 생성되는 경향을 보였다.
• 이중 방향 번역(예: 낮 ↔ 밤)으로도 잘 일반화되어 자연스러운 낮에서 밤, 밤에서 낮 결과를 생성하며, 비대칭 설계임에도 불구하고 대칭 기능을 검증하였다.