[논문 리뷰] Progressive Image Deraining Networks: A Better and Simpler Baseline

Dongwei Ren, Wangmeng Zuo외 3명|arXiv (Cornell University)|2019. 01. 26.

Image Enhancement Techniques참고 문헌 31인용 수 16

한 줄 요약

이 논문은 점진적 잔차 네트워크(PRN)와 순환적 특징 모델링을 결합하여 단일 이미지 비 제거에 더 단순하고 효과적인 베이스라인인 PReNet를 제안한다. 순환 잔차 블록, 다단계 특징 정련, 그리고 오직 MSE 또는 음성 SSIM 손실만을 사용하는 잔차 학습 공식을 통해 PReNet는 합성 및 실제 비가 내리는 이미지에서 최신 기술 수준의 성능을 달성하며, 더 깊고 복잡한 모델들보다 뛰어나면서도 높은 효율성을 유지한다.

ABSTRACT

Along with the deraining performance improvement of deep networks, their structures and learning become more and more complicated and diverse, making it difficult to analyze the contribution of various network modules when developing new deraining networks. To handle this issue, this paper provides a better and simpler baseline deraining network by considering network architecture, input and output, and loss functions. Specifically, by repeatedly unfolding a shallow ResNet, progressive ResNet (PRN) is proposed to take advantage of recursive computation. A recurrent layer is further introduced to exploit the dependencies of deep features across stages, forming our progressive recurrent network (PReNet). Furthermore, intra-stage recursive computation of ResNet can be adopted in PRN and PReNet to notably reduce network parameters with graceful degradation in deraining performance. For network input and output, we take both stage-wise result and original rainy image as input to each ResNet and finally output the prediction of {residual image}. As for loss functions, single MSE or negative SSIM losses are sufficient to train PRN and PReNet. Experiments show that PRN and PReNet perform favorably on both synthetic and real rainy images. Considering its simplicity, efficiency and effectiveness, our models are expected to serve as a suitable baseline in future deraining research. The source codes are available at https://github.com/csdwren/PReNet.

연구 동기 및 목표

• 딥 비 제거 네트워크의 점점 증가하는 복잡성으로 인해 모듈 분석과 모델 개발이 저해됨을 해결하기 위해.
• 복잡한 최신 기술 수준의 모델들을 능가하는 더 단순하지만 더 효과적인 단일 이미지 비 제거를 위한 베이스라인을 수립하기 위해.
• 구조적 복잡성 없이도 순환 네트워크 설계와 잔차 학습이 뛰어난 성능을 달성할 수 있는지 조사하기 위해.
• 입력 구조, 출력 공식, 손실 함수가 비 제거 성능에 미치는 영향을 평가하기 위해.
• 효율적이고 경량의 모델이 더 무거우며 깊은 네트워크의 성능을 따라하거나 능가할 수 있음을 보여주기 위해.

제안 방법

• 점진적 리세프넷(PRN)은 파arameter 수를 늘리지 않고도 얕은 잔차 네트워크를 다단계에 걸쳐 순환적으로 전개하여 구성된다.
• 깊은 특징 간의 장거리 의존성을 모델링하기 위해 단계 간에 순환 레이어를 도입하여 점진적 순환 네트워크(PReNet)를 형성한다.
• 개별 잔차 블록에 내부 단계 순환 계산을 적용하여 모델 크기를 추가로 줄이고 성능 저하를 최소화한다.
• 각 단계에서 원본 비가 내리는 이미지와 단계별 중간 결과를 입력으로 받아 특징 표현을 향상시킨다.
• 출력은 빗방울 층의 잔차 예측이므로 단순한 MSE 또는 음성 SSIM 손실 함수를 통해 엔드 투 엔드 학습이 가능하다.
• 아키텍처는 복잡한 다손실 조합이 필요 없이 단일 손실 함수만으로 학습된다.

실험 결과

연구 질문

• RQ1 점진적 순환을 적용한 더 단순하고 얕은 네트워크가 더 깊고 복잡한 비 제거 네트워크를 능가할 수 있는가?
• RQ2 단계 간에 순환 레이어를 통합하면 특징 정련과 비 제거 품질이 향상되는가?
• RQ3 내부 단계 순환 잔차 블록이 성능 저하 없이 파라미터를 크게 줄일 수 있는가?
• RQ4 MSE 또는 음성 SSIM과 같은 단일 손실 함수만으로도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 입력 스트림에 원본 비가 내리는 이미지를 포함시키는 것이 비 제거 성능에 어떤 영향을 미치는가?

주요 결과

• PReNet는 Rain100H, Rain100L, Rain12 데이터셋에서 모든 경쟁 모델보다 뛰어난 PSNR 및 SSIM 향상을 달성했으며, 더 적은 이미지로도 학습된 경우에도 성능이 뛰어나다.
• 내부 단계 순환을 적용한 파라미터 감소 버전인 PReNet r은 모든 벤치마크 데이터셋에서 모든 최신 기술 수준의 모델을 능가한다.
• 실제 비가 내리는 이미지에서 PReNet는 JORDER와 DDN보다 더 선명한 시각적 결과를 생성하며 잔류하는 빗줄기 스타일이 적다.
• 비디오 비 제거에서 PReNet는 모든 프레임에서 빗줄기를 성공적으로 제거했으며 시간적 일관성이 없더라도 FastDerain이 오류 누적로 인해 프레임 전환에서 실패하는 것과는 대조적으로 뛰어난 성능을 보였다.
• PReNet는 경쟁 모델들보다 훨씬 효율적이며, 경량이고 순환적인 아키텍처 덕분에 더 빠른 추론 시간을 가진다.
• 단일 MSE 또는 음성 SSIM 손실 함수의 사용은 안정적이고 효과적인 학습을 가능하게 하여 학습 파이프라인을 단순화시켰다.