[논문 리뷰] Analogical Image Translation for Fog Generation

Rui Gong, Dengxin Dai외 3명|arXiv (Cornell University)|2020. 06. 28.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 실재의 dense한 안개 이미지를 학습 중에 사용하지 않고도 합성된 청명한 날씨 이미지에서 실재의 청명한 날씨 이미지로 안개 효과를 전이하는 제로샷 이미지 간 번역 프레임워크인 Analogical Image Translation (AIT)을 제안한다. 합성된 쌍체 데이터에서의 지도 학습, 실재 도메인 내의 사이클 일致성, 그리고 도메인 간 적대적 학습을 통해, 이 방법은 현실적인 안개 효과 생성에서 최신 기술 수준의 성능을 달성하며, 후속 작업인 안개 날씨 환경에서의 의미적 장면 이해 작업을 크게 향상시킨다.

ABSTRACT

Image-to-image translation is to map images from a given \emph{style} to another given \emph{style}. While exceptionally successful, current methods assume the availability of training images in both source and target domains, which does not always hold in practice. Inspired by humans' reasoning capability of analogy, we propose analogical image translation (AIT). Given images of two styles in the source domain: $\mathcal{A}$ and $\mathcal{A}^\prime$, along with images $\mathcal{B}$ of the first style in the target domain, learn a model to translate $\mathcal{B}$ to $\mathcal{B}^\prime$ in the target domain, such that $\mathcal{A}:\mathcal{A}^\prime ::\mathcal{B}:\mathcal{B}^\prime$. AIT is especially useful for translation scenarios in which training data of one style is hard to obtain but training data of the same two styles in another domain is available. For instance, in the case from normal conditions to extreme, rare conditions, obtaining real training images for the latter case is challenging but obtaining synthetic data for both cases is relatively easy. In this work, we are interested in adding adverse weather effects, more specifically fog effects, to images taken in clear weather. To circumvent the challenge of collecting real foggy images, AIT learns with synthetic clear-weather images, synthetic foggy images and real clear-weather images to add fog effects onto real clear-weather images without seeing any real foggy images during training. AIT achieves this zero-shot image translation capability by coupling a supervised training scheme in the synthetic domain, a cycle consistency strategy in the real domain, an adversarial training scheme between the two domains, and a novel network design. Experiments show the effectiveness of our method for zero-short image translation and its benefit for downstream tasks such as semantic foggy scene understanding.

연구 동기 및 목표

• 자율주행 및 장면 이해 분야에서 악천후 조건, 특히 안개 날씨 이미지의 실재 데이터 부족 문제를 해결하기 위해.
• 실재의 안개 날씨 학습 이미지가 없을 경우에도 도메인 간 유추적 추론을 활용하여 제로샷 이미지 간 번역을 가능하게 하기 위해.
• 합성된 청명한 날씨 및 안개 날씨 이미지에서 학습한 번역의 핵심 개념을 실재의 청명한 날씨 이미지로 전이하여 현실적인 안개 생성을 위해.
• 합성된 안개 데이터를 활용해 악천후 조건에서의 의미적 세그멘테이션 모델의 강건성을 향상시키기 위해.

제안 방법

• 이 방법은 합성된 청명한 날씨 및 안개 날씨 이미지 쌍체에서의 지도 학습 기반으로 번역의 핵심 개념을 학습하는 AnalogicalGAN으로 명명된다.
• 실재 도메인과 합성 도메인 간 적대적 학습을 적용하여 실재의 청명한 날씨 이미지의 분포를 번역된 합성 출력과 일치시킨다.
• 실재 도메인에서 사이클 일치 손실을 적용하여 생성된 안개 날씨 이미지를 다시 청명한 날씨로 번역할 경우 신원을 유지하도록 보장한다.
• 두 도메인의 특징을 통합하는 새로운 네트워크 아키텍처를 도입하여 제로샷 번역을 위한 도메인 불변 표현 학습을 가능하게 한다.
• 실제성과 정확성을 보장하기 위해 적대적 손실, 사이클 일치 손실, 재구성 손실의 조합을 통해 엔드 투 엔드로 모델을 훈련시킨다.
• 이 방법은 안개 생성을 넘어서 다른 유추적 이미지 번역 작업으로도 일반화 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 실재의 안개 날씨 이미지를 한 번도 보지 않은 채로, 합성된 이미지에서 실재 이미지로 안개 효과를 전이할 수 있는가?
• RQ2 도메인 간 유추적 추론이 데이터가 적은 환경에서 제로샷 이미지 번역을 향상시킬 수 있는가?
• RQ3 합성 데이터에서 학습한 번역의 핵심 개념이 실재 이미지 번역으로 효과적으로 일반화되는가?
• RQ4 실제성과 후속 작업 성능 측면에서 제안된 방법이 물리 기반 및 GAN 기반 이미지 합성 기법보다 어떻게 비교되는가?

주요 결과

• AnalogicalGAN은 'Foggy Cityscapes'와 'Foggy Synscapes'와 같은 물리 기반 방법보다 안개 날씨 장면 이해 성능에서 뛰어나며, Foggy Zurich 및 Foggy Driving 벤치마크에서 모두 승리한다.
• RefineNet을 사용한 Foggy Zurich 데이터셋에서, AnalogicalGAN은 'Foggy Cityscapes'와 'Foggy Synscapes'의 혼합 기준보다 2.4% 향상된 성능을 달성한다.
• BiseNet을 사용한 Foggy Driving 데이터셋에서, 동일한 혼합 기준보다 4.7% 향상된 성능을 기록한다.
• RefineNet을 사용할 경우, AnalogicalGAN은 Foggy Driving에서 50.3% mIoU를 달성하여 최신 기술 수준의 50.7%와 유사한 성능을 보인다.
• 모든 테스트 세트와 세그멘테이션 네트워크에서 CycleGAN 및 MUNIT와 비교해 유사하거나 뛰어난 성능을 기록한다.
• 'AnalogicalGAN Cityscapes'와 'Foggy Synscapes'를 융합하면 성능이 더욱 향상되며, 이는 방법의 호환성과 확장성의 가능성을 보여준다.