[논문 리뷰] Density-aware Single Image De-raining using a Multi-stream Dense Network

He Zhang, Vishal M. Patel|arXiv (Cornell University)|2018. 02. 21.

Image Enhancement Techniques참고 문헌 40인용 수 95

한 줄 요약

DID-MDN은 rain density를 공동 추정하고 다중 스트림 Dense 연결 네트워크로 디레이닝을 수행하여 합성 및 실제 데이터에서 최첨단 결과를 달성합니다.

ABSTRACT

Single image rain streak removal is an extremely challenging problem due to the presence of non-uniform rain densities in images. We present a novel density-aware multi-stream densely connected convolutional neural network-based algorithm, called DID-MDN, for joint rain density estimation and de-raining. The proposed method enables the network itself to automatically determine the rain-density information and then efficiently remove the corresponding rain-streaks guided by the estimated rain-density label. To better characterize rain-streaks with different scales and shapes, a multi-stream densely connected de-raining network is proposed which efficiently leverages features from different scales. Furthermore, a new dataset containing images with rain-density labels is created and used to train the proposed density-aware network. Extensive experiments on synthetic and real datasets demonstrate that the proposed method achieves significant improvements over the recent state-of-the-art methods. In addition, an ablation study is performed to demonstrate the improvements obtained by different modules in the proposed method. Code can be found at: https://github.com/hezhangsprinter

연구 동기 및 목표

• 단일 이미지에서 비의 비균일한 밀도 하에서도 강건한 디레이닝을 가능하게 한다.
• 비밀도 수준을 자동으로 추정하는 밀도 인식 프레임워크를 도입한다.
• 다양한 비줄기의 크기와 모양을 다루기 위한 다중 스트림 Dense 연결 네트워크를 개발한다.
• 밀도 인식 구성요소를 학습시키기 위해 비밀도 레이블을 갖춘 합성 데이터셋을 생성한다.
• 광범위한 실험과 ablation 연구를 통해 최첨단 방법 대비 개선을 입증한다.

제안 방법

• 이중 단계 구조: 잔차 인식 비밀도 분류기와 다중 스트림 Dense 연결 디레이닝 네트워크.
• 잔차 구성요소 r = y - x 를 밀도 분류의 특징으로 사용하여 강건한 밀도 레이블을 생성한다.
• 잔차 인식 분류기가 비밀도(저/중/고)를 추정하며 특징 추출 후 분류의 2단계 프로토콜로 학습된다.
• 3-스트림 Dense 연결 네트워크(Dense1 7x7, Dense2 5x5, Dense3 3x3)는 서로 다른 스케일의 비 줄기를 포착하고, 모든 스트림의 특징을 연결하여 비 줄기 추정을 수행한다.
• 밀도 정보를 밀도 레이블 맵을 업샘플링하고 다중 스트림 특징과 연결하여 비 잔차를 추정하는 방식으로 융합한다.
• 최종 디레이닝은 추정 잔차를 이용해 거친 출력을 생성하고, 이후 추가 합성곱 층으로 다듬는다.
• 손실은 잔차 추정 손실, 디레이닝된 이미지 재구성 손실, 그리고 VGG-16(relu1_2)에서 계산된 지각(특징) 손실을 결합한다.

실험 결과

연구 질문

• RQ1 하나의 비가 오는 이미지에서 네트워크가 자동으로 비 밀도를 추정하고 이를 통해 디레이닝을 안내할 수 있는가?
• RQ2 다중 스케일 밀집 연결이 다양한 모양과 크기의 비 줄기 제거를 개선하는가?
• RQ3 잔차 기반 밀도 분류기 도입이 서로 다른 비 조건에 대한 일반화성을 height? 개선하는가?
• RQ4 밀도 가이드 방식이 합성 데이터와 실제 데이터에서 최첨단 디레이닝 방법과 비교하여 어떤가?

주요 결과

• DID-MDN은 합성 Test1 및 Test2 데이터셋에서 여러Baseline과 비교하여 더 우수한 SSIM과 PSNR을 달성한다(예: DSC, GMM, CNN, JORDER, DDN, JBO).
• 잔차 인식 밀도 분류기가 비밀도 추정에서 VGG-16을 능가한다(Test1에서 정확도 85.15% 대 73.32%).
• 레이블 융합이 있는 밀도 인식 다중 스트림 Dense 연결 네트워크는 배경 디테일을 보존하면서 비 줄기를 제거하고 단일 스트림 및 비융합 다중 스케일 변형보다 우수하다.
• 실제 이미지에서 본 방법은 다양한 비 줄기를 효과적으로 제거하고 강한, 중간, 약한 비 상황에서 디테일을 보존한다.
• ablation에서 레이블 융합과 다중 스트림 설계가 밀도 가이드가 없거나 스트림 수가 적은 구성보다 성능을 크게 향상시킨다.
• 실행 시간은 경쟁력이 있으며 GPU에서 512x512 이미지당 평균 약 0.3초이다.