[논문 리뷰] Multi-Scale Progressive Fusion Network for Single Image Deraining

Kui Jiang, Zhongyuan Wang외 6명|arXiv (Cornell University)|2020. 03. 24.

Image Enhancement Techniques참고 문헌 41인용 수 52

한 줄 요약

MSPFN은 Gaussian pyramid를 통한 교차 스케일 상관관계, Conv-LSTM 기반의 coarse fusion, attention 가이드의 fine fusion을 활용하여 단일 이미지 deraining을 위한 다중 스케일, 점진적 융합 프레임워크를 도입하고, 최첨단 결과를 달성하며 다운스트림 비전 작업을 향상시킨다.

ABSTRACT

Rain streaks in the air appear in various blurring degrees and resolutions due to different distances from their positions to the camera. Similar rain patterns are visible in a rain image as well as its multi-scale (or multi-resolution) versions, which makes it possible to exploit such complementary information for rain streak representation. In this work, we explore the multi-scale collaborative representation for rain streaks from the perspective of input image scales and hierarchical deep features in a unified framework, termed multi-scale progressive fusion network (MSPFN) for single image rain streak removal. For similar rain streaks at different positions, we employ recurrent calculation to capture the global texture, thus allowing to explore the complementary and redundant information at the spatial dimension to characterize target rain streaks. Besides, we construct multi-scale pyramid structure, and further introduce the attention mechanism to guide the fine fusion of this correlated information from different scales. This multi-scale progressive fusion strategy not only promotes the cooperative representation, but also boosts the end-to-end training. Our proposed method is extensively evaluated on several benchmark datasets and achieves state-of-the-art results. Moreover, we conduct experiments on joint deraining, detection, and segmentation tasks, and inspire a new research direction of vision task-driven image deraining. The source code is available at \url{https://github.com/kuihua/MSPFN}.

연구 동기 및 목표

• 다양한 스케일과 해상도에서 비의 안정적 deraining을 촉진한다.
• 교차 스케일 및 intra-scale rain 패턴을 활용하는 통합 다중 스케일 표현을 제안한다.
• 다중 스케일 정보를 점진적으로 융합하는 모듈(CFM, FFM, RM)을 개발한다.
• 잔류 강우에 대한 Charbonnier 벌점을 포함한 손실과 고주파 디테일의 에지 손실을 결합한 손실로 학습한다.

제안 방법

• Gaussian pyramid Rain 이미지를 구성하여 다중 스케일 입력을 생성한다.
• Conv-LSTM을 이용한 coarse-fusion 모듈(CFM)로 글로벌 텍스처와 교차 스케일 상관관계를 포착한다.
• 채널 어텐션을 사용하는 fine-fusion 모듈(FFM)로 다중 스케일 특징을 선택적으로 융합한다.
• 재구성 모듈(RM)을 도입하여 잔류 강우를 회귀하고 derained 이미지를 생성한다.
• residual rain에 대한 Charbonnier 페널티와 고주파 디테일의 에지 손실을 결합한 손실로 학습한다.

실험 결과

연구 질문

• RQ1 다중 스케일(교차 스케일 및 intra-scale) 강우 패턴을 효과적으로 활용하여 단일 이미지 deraining의 성능을 향상시킬 수 있는가?
• RQ2 피라미드 레벨과 네트워크 단계 간의 점진적 융합이 단일 스케일 또는 비점진적 다중 스케일 방법에 비해 더 우수한 deraining 품질을 보이는가?
• RQ3 제안된 MSPFN 구성요소(CFM, FFM, RM)가 정량적 지표와 시각적 충실도 모두에 긍정적 기여를 하는가?
• RQ4 MSPFN이 비가 영향 이미지를 대상 객체 탐지 및 의미 분할과 같은 다운스트림 작업에 어떠한 영향을 미치는가?

주요 결과

• MSPFN은 여러 합성 데이터셋에서 최첨단 deraining 성능을 달성한다.
• 다중 스케일 점진적 융합 전략이 복원 품질과 학습 효율성을 모두 향상시킨다.
• 공동 평가를 통해 MSPFN이 비가 영향을 받은 데이터에서 다운스트림 탐지 및 분할을 향상시킨다.
• MSPFN의 경량 variant가 deraining 경쟁력을 유지하면서 계산량을 줄여 모바일/실시간 사용에 적합할 수 있다.