[논문 리뷰] An Effective Two-Branch Model-Based Deep Network for Single Image Deraining

Yinglong Wang, Dong Gong외 5명|arXiv (Cornell University)|2019. 05. 14.

Image Enhancement Techniques참고 문헌 43인용 수 5

한 줄 요약

이 논문은 단일 이미지 비탈림에 대해 축적된 빗방울로 인한 빗줄기와 안개처럼 보이는 효과를 명시적으로 모델링하는 두 가지 브랜치로 구성된 딥 네트워크인 AMPE-Net을 제안한다. 물리적 비 이미지 모델을 엔드 투 엔드 학습과 융합함으로써, 전반적인 투과도(안개) 및 비층 파rameter를 함께 추정하여 합성 및 실세계 데이터셋에서 목적 함수 지표와 시각적 품질 면에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Removing rain effects from an image is of importance for various applications such as autonomous driving, drone piloting, and photo editing. Conventional methods rely on some heuristics to handcraft various priors to remove or separate the rain effects from an image. Recent deep learning models are proposed to learn end-to-end methods to complete this task. However, they often fail to obtain satisfactory results in many realistic scenarios, especially when the observed images suffer from heavy rain. Heavy rain brings not only rain streaks but also haze-like effect caused by the accumulation of tiny raindrops. Different from the existing deep learning deraining methods that mainly focus on handling the rain streaks, we design a deep neural network by incorporating a physical raining image model. Specifically, in the proposed model, two branches are designed to handle both the rain streaks and haze-like effects. An additional submodule is jointly trained to finally refine the results, which give the model flexibility to control the strength of removing the mist. Extensive experiments on several datasets show that our method outperforms the state-of-the-art in both objective assessments and visual quality.

연구 동기 및 목표

• 비가 많이 올 경우 빽빽한 빗방울로 인해 발생하는 안개처럼 보이는 효과를 다루지 못하는 기존 딥 러닝 비탈림 방법의 한계를 해결하기 위해.
• 비 이미지를 배경, 투과도(안개), 비층의 조합으로 모델링함으로써 단순한 덧셈 잔여항이 아닌 방식으로 비탈림 성능을 향상시키기 위해.
• 과도하게 밝아지거나 자연스럽지 않은 색상 이동을 방지하기 위해 안개 제거 강도를 제어할 수 있는 탄력적인 네트워크 아키텍처를 개발하기 위해.
• 학습 가능한 딥 네트워크 프레임워크에 물리적 사전 지식을 통합함으로써 강건성과 일반화 능력을 향상시키기 위해.
• 흐린 빗줄기와 색상 열화가 발생하는 경우를 포함한 합성 및 실세계 비 이미지에 대해 효과를 입증하기 위해.

제안 방법

• 새로운 물리적 비 이미지 모델 제안: $\mathbf{I} = \mathbf{T} \circ \mathbf{B} + \mathbf{R}$, 여기서 $\mathbf{T}$ 는 축적된 빗방울로 인한 투과도 손실(안개처럼 보이는 효과)을 모델링하고, $\mathbf{B}$ 는 클리어 배경이며, $\mathbf{R}$ 은 비줄기 층을 의미한다.
• 입력된 비 이미지 $\mathbf{I}$ 로부터 투과도 $\mathbf{T}$ 와 비층 $\mathbf{R}$ 을 함께 추정하기 위해 EstNet-T와 EstNet-R로 구성된 두 브랜치 네트워크(AMPE-Net)를 설계한다.
• 강한 비줄기의 위치 맵을 예측하기 위해 LocNet을 도입하여 $\mathbf{T}$ 와 $\mathbf{R}$ 의 추정에 도움을 주고 국소화 및 특징 학습을 향상시킨다.
• SPP(공간 피라미드 풀링)와 가중치 조합($\alpha$)이 학습 가능한 RefNet 모듈을 사용하여 안개 제거 강도를 제어하고 과도한 밝아짐을 방지한다.
• 물리 모델에 더 잘 맞추기 위해 두 브랜치 유닛을 번갈아 최적화하는 역행 가능한 손실 함수를 사용하여 네트워크를 훈련시킨다.
• 감독을 위해 $\mathcal{L}_1$ 과 $\mathcal{L}_2$ 손실을 사용하며, 분석 실험에서 $\mathcal{L}_2$ 가 성능 향상에 약간 기여함을 확인하였다.

실험 결과

연구 질문

• RQ1 축적된 빗방울로 인한 안개처럼 보이는 효과를 모델링하면 무거운 비 조건에서 비탈림 성능을 크게 향상시킬 수 있는가?
• RQ2 딥 러닝 프레임워크에 물리적 이미지 형성 모델을 통합하면 엔드 투 엔드 학습만으로는 달성할 수 없는 더 나은 일반화 능력과 시각적 품질을 달성할 수 있는가?
• RQ3 두 브랜치 네트워크 아키텍처가 단일 브랜치 또는 잔여항 기반 방법보다 전반적인 투과도 및 비층 파rameter 추정을 더 효과적으로 수행할 수 있는가?
• RQ4 비탈림 결과에서 안개 제거 강도를 제어할 수 있는가? 이를 통해 과도한 밝아짐을 방지하면서 자연스러운 색상 유지가 가능한가?
• RQ5 위치 가이드 네트워크(LocNet)의 포함이 비와 안개 파rameter 추정 정확도를 어떻게 향상시키는가?

주요 결과

• AMPE-Net은 합성 데이터셋(Rain-I 및 Rain-II)과 실세계 데이터셋 모두에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, Rain-II에서 PSNR 28.90과 SSIM 0.853을 기록하여 이전 SOTA 방법을 능가하였다.
• 절단 분석 결과 LocNet(가이드)와 EstNet-T(투과도 추정)가 핵심 구성 요소임을 확인하였으며, EstNet-T 제거 시 성능 저하가 가장 심했다.
• 시각적 비교 결과, 제안된 방법은 비줄기와 안개처럼 보이는 효과를 효과적으로 제거하였으며, 다른 방법들은 잔여 비줄기나 자연스럽지 않은 색조를 남기고 있었다.
• RefNet 모듈은 파rameter $\alpha$ 를 통해 안개 제거 강도를 제어할 수 있어 사용자가 결과의 현실성과 선명도 사이의 균형을 조절할 수 있도록 했다.
• 모델은 다른 기상 조건으로도 잘 일반화된다: 투명도 제거 데이터로 훈련된 후 실세계 안개가 낀 이미지를 최소한의 수정으로 성공적으로 제거하였다.
• 실세계 이미지에 대한 시각적 결과는 AMPE-Net이 세밀한 디테일과 자연스러운 색상을 유지함을 보여주었으며(예: 워터마크 글자가 흐리게 유지됨), 다른 방법에서 관찰되는 과도한 밝아짐과 블록 아티팩트를 피하고 있었다.