[논문 리뷰] Rethinking Image Deraining via Rain Streaks and Vapors

Yinglong Wang, Yibing Song외 2명|arXiv (Cornell University)|2020. 08. 03.

Image Enhancement Techniques참고 문헌 28인용 수 6

한 줄 요약

이 논문은 비줄무늬와 수증기를 배경 성분이 아닌 전달 매체로 모델링함으로써 이미지 비제거 기술을 재고하는 새로운 딥러닝 프레임워크를 제안한다. SNet은 비줄무늬 전달 지도를 예측하기 위해 이방향 특징 학습을 위한 셔플넷 유닛을 사용하며, VNet은 공간 피ラ미드 풀링을 통해 비줄무늬에서 수증기를 모델링하고, ANet은 대기 빛 추정을 위해 사용된다. 이들 모델은 벤치마크 데이터셋에서 최신 기술 수준의 비제거 성능을 달성하기 위해 공동으로 훈련된다.

ABSTRACT

Single image deraining regards an input image as a fusion of a background image, a transmission map, rain streaks, and atmosphere light. While advanced models are proposed for image restoration (i.e., background image generation), they regard rain streaks with the same properties as background rather than transmission medium. As vapors (i.e., rain streaks accumulation or fog-like rain) are conveyed in the transmission map to model the veiling effect, the fusion of rain streaks and vapors do not naturally reflect the rain image formation. In this work, we reformulate rain streaks as transmission medium together with vapors to model rain imaging. We propose an encoder-decoder CNN named as SNet to learn the transmission map of rain streaks. As rain streaks appear with various shapes and directions, we use ShuffleNet units within SNet to capture their anisotropic representations. As vapors are brought by rain streaks, we propose a VNet containing spatial pyramid pooling (SSP) to predict the transmission map of vapors in multi-scales based on that of rain streaks. Meanwhile, we use an encoder CNN named ANet to estimate atmosphere light. The SNet, VNet, and ANet are jointly trained to predict transmission maps and atmosphere light for rain image restoration. Extensive experiments on the benchmark datasets demonstrate the effectiveness of the proposed visual model to predict rain streaks and vapors. The proposed deraining method performs favorably against state-of-the-art deraining approaches.

연구 동기 및 목표

• 기존의 비제거 방법이 비줄무늬를 배경의 일부로 간주하여 폭우 조건에서 성능이 열 劣하는 데 기인한 한계를 해결하기 위해.
• 비줄무늬와 수증기의 얽힘을 더 정확히 모델링하기 위해 양자를 전달 매체로 재정의하기 위해.
• 비줄무늬와 수증기의 전달 지도를 공동으로 학습하고 대기 빛 추정을 통해 비제거 품질을 향상시키기 위해.
• 비가 내리는 이미지의 물리적 형성 과정을 명시적으로 모델링하여 벤치마크 데이터셋에서 더 나은 시각적 품질과 정량적 성능을 달성하기 위해.

제안 방법

• 비줄무늬와 수증기의 전달 지도인 Ts와 Tv를 각각 고려한 비이미지 형성 모델을 재정의한다: I = (Ts + Tv) ⊙ J + (1 - Ts - Tv) ⊙ A.
• 비줄무늬의 이방향 표현을 학습하고 Ts를 예측하기 위해 셔플넷 유닛을 사용하는 인코더-디코더 구조의 CNN인 SNet을 제안한다.
• 입력 I와 예측된 Ts를 기반으로 다중 해상도에서 Tv를 예측하기 위해 공간 피라미드 풀링(SPP)을 통합한 VNet을 설계한다.
• 저전달 조건 하에서 미리 훈련된 전용 인코더 CNN인 ANet을 도입하여 대기 빛 A를 추정한다.
• SNet, VNet, ANet를 종합적으로 엔드 투 엔드로 훈련하여 배경 복원의 고해상도 복원을 최적화하기 위한 전달 지도와 대기 빛을 동시에 최적화한다.
• 원소별 곱셈과 특징 병합을 사용하여 배경, 비줄무늬, 수증기, 대기 빛 간의 물리적 상호작용을 모델링한다.

실험 결과

연구 질문

• RQ1 비제거 성능 향상을 위해 이미지 형성 과정에서 비줄무늬와 수증기를 더 정확히 어떻게 모델링할 수 있는가?
• RQ2 폭우에서 비줄무늬의 이방향성과 방향성을 잘 반영할 수 있는 네트워크 아키텍처는 무엇인가?
• RQ3 수증기를 별도의 전달 매체로 모델링하는 것이 배경으로 간주하는 것보다 복원 품질을 향상시키는가?
• RQ4 전달 지도 예측과 대기 빛 추정의 공동 훈련이 비제거 결과에 어떤 영향을 미치는가?
• RQ5 다중 해상도 공간 피라미드 풀링을 통합함으로써 수증기 효과 모델링이 얼마나 향상되는가?

주요 결과

• 제안된 방법은 Rain-II 데이터셋에서 SPANet 대비 약 4 dB의 PSNR 향상을 보이며, 뛰어난 정량적 성능을 입증한다.
• 모든 세 가지 벤치마크 데이터셋(Rain-I, Rain-II, Rain-III)에서 최저 수준의 Fréchet Inception Distance(FID) 점수를 기록하여 참조 이미지와 높은 정서적 유사성을 보여준다.
• SNet, VNet, ANet의 공동 훈련은 기존의 사전 훈련된 모듈만을 사용한 훈련 대비 안개 제거 및 미세한 디테일 유지 측면에서 비제거 품질을 크게 향상시킨다.
• 시각적 결과는 기존 방법이 비줄무늬를 제거하지 못하거나 색조 왜곡을 유발하는 폭우 조건에서도 제안된 방법이 비줄무늬와 수증기를 효과적으로 제거함을 보여준다.
• 제거 실험 결과는 VNet을 통한 수증기 모델링이 안개와 블록 아티팩트를 감소시키며, 공동 훈련이 전체 복원 정밀도를 향상시킴을 확인한다.
• 표 4에 나타난 바와 같이 제안된 방법의 추론 시간은 효율적이며 실용적 적용 가능성을 시사한다.