[논문 리뷰] A Coarse-to-Fine Multi-stream Hybrid Deraining Network for Single Image Deraining

Yanyan Wei, Zhao Zhang외 3명|arXiv (Cornell University)|2019. 08. 28.

Image Enhancement Techniques참고 문헌 42인용 수 14

한 줄 요약

이 논문은 이중 경로 잔차 밀집 블록을 사용하여 특징 학습을 향상시키고, SSIM 및 지각적 손실을 조합하여 개선된 탈비를 구현하는, 군집에서부터 세밀한 단계로 진행되는 다중 스트림 하이브리드 탈비 네트워크인 MH-DerainNet을 제안한다. 이 방법은 비의 흔적을 정확히 제거하면서도 이미지의 세부 사항과 전반적인 구조를 유지함으로써, 합성 및 실제 비가 내리는 이미지 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Single image deraining task is still a very challenging task due to its ill-posed nature in reality. Recently, researchers have tried to fix this issue by training the CNN-based end-to-end models, but they still cannot extract the negative rain streaks from rainy images precisely, which usually leads to an over de-rained or under de-rained result. To handle this issue, this paper proposes a new coarse-to-fine single image deraining framework termed Multi-stream Hybrid Deraining Network (shortly, MH-DerainNet). To obtain the negative rain streaks during training process more accurately, we present a new module named dual path residual dense block, i.e., Residual path and Dense path. The Residual path is used to reuse com-mon features from the previous layers while the Dense path can explore new features. In addition, to concatenate different scaled features, we also apply the idea of multi-stream with shortcuts between cascaded dual path residual dense block based streams. To obtain more distinct derained images, we combine the SSIM loss and perceptual loss to preserve the per-pixel similarity as well as preserving the global structures so that the deraining result is more accurate. Extensive experi-ments on both synthetic and real rainy images demonstrate that our MH-DerainNet can deliver significant improvements over several recent state-of-the-art methods.

연구 동기 및 목표

• 단일 이미지 탈비 문제의 불안정한 성격을 해결하기 위해, 비의 흔적을 과도하거나 부족하게 제거하지 않도록 하는 것.
• 이중 경로 잔차 밀집 블록 아키텍처를 통해 잔차 연결과 밀집 연결을 결합하여 특징 추출을 향상시키기 위한 것.
• 단계별로 다중 스케일 특징 융합을 향상시키기 위해 연쇄적인 다중 스트림 아키텍처와 단절 연결을 활용하는 것.
• SSIM 및 지각적 손실 함수의 조합을 통해 픽셀 수준의 유사성과 전반적인 이미지 구조를 유지하는 것.
• 기존 최신 기술 수준의 방법들과 비교하여 합성 및 실제 세계의 비가 내리는 이미지에서 뛰어난 탈비 성능을 달성하는 것.

제안 방법

• 특징 재사용을 위한 잔차 경로와 새로운 특징 학습을 위한 밀집 경로를 결합한 이중 경로 잔차 밀집 블록을 도입한다.
• 단절 연결을 통해 효과적인 다중 스케일 특징 융합을 구현하기 위해, 연쇄적인 이중 경로 잔차 밀집 블록으로 구성된 다중 스트림 아키텍처를 활용한다.
• 저해상도에서 고해상도 특징으로 점진적으로 탈비 결과를 개선하기 위해 군집에서부터 세밀한 단계로 진행되는 학습 전략을 적용한다.
• 구조 일치성과 지각적 품질을 유지하기 위해 SSIM 손실과 지각적 손실을 조합한다.
• 다양한 스케일과 깊이 간의 특징를 유지하고 전파하기 위해 스트림 간에 스킵 연결을 활용한다.
• 픽셀 수준의 정확성과 지각적 현실감을 균형 있게 유지하기 위해 하이브리드 손실 함수를 사용하여 엔드 투 엔드 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 군집에서부터 세밀한 단계로 진행되는 다중 스트림 아키텍처는 단일 이미지 탈비에서 비의 흔적 제거 정밀도를 향상시키는가?
• RQ2 이중 경로 잔차 밀집 블록의 통합은 표준 잔차 블록이나 밀집 블록보다 특징 표현을 향상시키는가?
• RQ3 SSIM과 지각적 손실을 조합함으로써 탈비된 이미지의 지각적 품질과 구조적 정확도는 어느 정도 향상되는가?
• RQ4 제안된 MH-DerainNet은 합성 데이터 전용 기반 모델들과 비교하여 실제 세계의 비가 내리는 이미지에서 어떻게 성능을 발휘하는가?
• RQ5 다중 스트림 및 하이브리드 아키텍처는 다양한 비 패턴과 이미지 콘텐츠에 더 잘 일반화되는가?

주요 결과

• MH-DerainNet은 합성 및 실제 비가 내리는 이미지 벤치마크에서 최근 최신 기술 수준의 탈비 방법들보다 뚜렷한 성능 향상을 달성한다.
• SSIM과 지각적 손실의 조합은 더 높은 구조 유사도와 더 나은 시각적 품질을 가진 탈비된 이미지를 만들어낸다.
• 이중 경로 잔차 밀집 블록 설계는 더 효과적인 특징 학습을 가능하게 하여 과도하거나 부족한 탈비 아티팩트를 줄인다.
• 단절 연결을 갖춘 다중 스트림 아키텍처는 특징 전파와 다중 스케일 표현을 향상시킨다.
• 모델은 실제 세계의 비가 내리는 이미지에 대해 강력한 일반화 성능을 보이며, 합성 데이터 전용으로 학습된 방법들을 능가한다.
• 정량적 결과는 벤치마크 데이터셋에서 뛰어난 PSNR 및 SSIM 점수를 보여주어, 이 방법의 효과성을 확인한다.