[논문 리뷰] Deep joint rain and haze removal from single images

Liang Shen, Zihan Yue외 3명|arXiv (Cornell University)|2018. 01. 21.

Image Enhancement Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 단일 이미지에서 비와 안개를 동시에 제거하기 위해 히어르 웨이블릿 분해를 활용해 고주파수 비 줄무늬를 분리하고, 어둠자락 원리를 히어르 특성 맵으로 통합함으로써 이중 분기 컨볼루션 신경망(SRR-net 및 DJRHR-net)을 제안한다. 이 방법은 합성 및 실세계 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하며, SRR-net은 15.75 PSNR를 기록하고, DJRHR-net은 SIRR-net, Detail-net, JORDER보다 시각적 및 정량적 지표에서 뛰어난 성능을 보였다.

ABSTRACT

Rain removal from a single image is a challenge which has been studied for a long time. In this paper, a novel convolutional neural network based on wavelet and dark channel is proposed. On one hand, we think that rain streaks correspond to high frequency component of the image. Therefore, haar wavelet transform is a good choice to separate the rain streaks and background to some extent. More specifically, the LL subband of a rain image is more inclined to express the background information, while LH, HL, HH subband tend to represent the rain streaks and the edges. On the other hand, the accumulation of rain streaks from long distance makes the rain image look like haze veil. We extract dark channel of rain image as a feature map in network. By increasing this mapping between the dark channel of input and output images, we achieve haze removal in an indirect way. All of the parameters are optimized by back-propagation. Experiments on both synthetic and real- world datasets reveal that our method outperforms other state-of- the-art methods from a qualitative and quantitative perspective.

연구 동기 및 목표

• 단일 실외 이미지에서 흩어진 비 줄무늬와 조밀한 비 줄무늬, 안개 유사 열화를 동시에 제거하는 과제를 해결하기 위해.
• 웨이블릿 기반 주파수 분리와 어둠자락 원리를 학습 가능한 특성으로 통합하여 기존 단일 이미지 비 제거 방법을 향상시키기 위해.
• 엔드 투 엔드 백프로파게이션을 통해 비와 안개 제거를 동시에 최적화하는 통합된 딥 러닝 프레임워크를 설계하기 위해.
• 제어된 비가 내린 합성 데이터셋과 복잡한 기상 열화를 겪은 실세계 이미지에서의 성능 평가를 수행하기 위해.

제안 방법

• 입력 이미지를 네 개의 하위대역(LL, LH, HL, HH)으로 분해하기 위해 히어르 웨이블릿 변환을 사용하며, 이 중 LL은 배경을 캡처하고, HL/LH/HH는 비 줄무늬와 에지 정보를 나타낸다.
• 입력 이미지의 어둠자락을 신경망 내부의 특성 맵으로 간주함으로써, 입력과 출력 어둠자락 간의 매핑을 학습함으로써 간접적으로 안개 제거를 가능하게 한다.
• 희귀 블록을 사용한 두 가지 별도의 네트워크를 설계: 흩어진 비에 적합한 SRR-net과 조밀한 비와 안개가 함께 있는 경우에 적합한 DJRHR-net으로, 성장률 K=12, 층 수 L=3을 사용한다.
• 모든 네트워크 파rameter를 동시에 최적화하기 위해 Adam 옵timizer와 백프로파게이션을 사용한 엔드 투 엔드 학습을 수행한다.
• 두 가지 데이터셋을 구축: TrainSet A는 청소된 이미지에 합성 비를 적용한 데이터셋이며, TrainSet B는 NYU Depth Dataset V2 이미지를 대기 산란 모델을 사용해 안개와 비로 열화시킨 데이터셋이다.
• 정량적 평가를 위해 PSNR, SSIM, NIQE를 사용하며, 높은 PSNR/SSIM와 낮은 NIQE가 더 우수한 성능을 의미한다.

실험 결과

연구 질문

• RQ1 웨이블릿 기반 주파수 분해가 단일 이미지 비 제거에서 배경에서 비 줄무늬를 효과적으로 분리할 수 있는가?
• RQ2 어둠자락 원리가 딥 컨볼루션 신경망 내 특성 맵으로 효과적으로 통합되어 먼 비로 인한 안개 유사 열화를 동시에 해결할 수 있는가?
• RQ3 이중 네트워크 아키텍처(SRR-net은 흩어진 비, DJRHR-net은 조밀한 비)가 단일 아키텍처 모델보다 성능을 향상시키는가?
• RQ4 제안된 방법은 합성 및 실세계 환경 모두에서 최신 기술(SOTA) 비 제거 네트워크와 비교해 어떻게 성능을 내는가?

주요 결과

• SRR-net은 합성 테스트 세트에서 평균 PSNR 15.75를 기록하여, SIRR-net, Detail-net, JORDER보다 정량적 지표에서 뛰어난 성능을 보였다.
• DJRHR-net은 강한 비와 안개가 있는 실세계 이미지에서 뛰어난 시각적 결과를 내며, 비 줄무늬와 베일 유사 열화를 효과적으로 제거했다.
• 절단 실험 결과, 성장률 K=12, 층 수 L=3인 깊은 네트워크가 최고의 성능을 내며, 깊이가 증가함에 따라 PSNR가 14.85에서 15.75로 상승함을 확인했다.
• SIRR-net(1.51)보다 낮은 NIQE(1.42)를 기록하여 복원된 이미지의 인지적 품질이 높다는 것을 나타냈다.
• 어둠자락을 특성 맵으로 통합함으로써 안개 제거 성능이 크게 향상되었으며, 특히 비가 조밀하게 내린 상황에서 시각적 잡음이 최소화되었다.