[논문 리뷰] Residual-Guide Feature Fusion Network for Single Image Deraining

Zhiwen Fan, Huafeng Wu외 3명|arXiv (Cornell University)|2018. 04. 20.

Image Enhancement Techniques참고 문헌 28인용 수 37

한 줄 요약

이 논문은 단일 이미지 비 제거를 위한 계단식 잔차 가이드 특징 융합 네트워크인 ResGuideNet을 제안한다. 이 방법은 얕은 블록에서 유도된 잔차를 더 깊은 블록에 가이드로 활용하여 비 줄무늬 제거를 점진적으로 개선한다. 재귀적 합성곱, 다중 척도 감독, 특징 통합 학습을 활용하여 뿐만 아니라 높은 성능을 달성하며, 파rameter 수가 37K에 불과하여 다양한 비 조건과 계산 자원 제약 조건에서도 효율적인 구현이 가능하다.

ABSTRACT

Single image rain streaks removal is extremely important since rainy images adversely affect many computer vision systems. Deep learning based methods have found great success in image deraining tasks. In this paper, we propose a novel residual-guide feature fusion network, called ResGuideNet, for single image deraining that progressively predicts highquality reconstruction. Specifically, we propose a cascaded network and adopt residuals generated from shallower blocks to guide deeper blocks. By using this strategy, we can obtain a coarse to fine estimation of negative residual as the blocks go deeper. The outputs of different blocks are merged into the final reconstruction. We adopt recursive convolution to build each block and apply supervision to all intermediate results, which enable our model to achieve promising performance on synthetic and real-world data while using fewer parameters than previous required. ResGuideNet is detachable to meet different rainy conditions. For images with light rain streaks and limited computational resource at test time, we can obtain a decent performance even with several building blocks. Experiments validate that ResGuideNet can benefit other low- and high-level vision tasks.

연구 동기 및 목표

• 비 줄무늬로 인해 이미지 품질이 떨어지고 후속 컴퓨터 비전 작업에 악영향을 미치는 단일 이미지 비 제거 문제를 해결한다.
• 크고 복잡한 파rameter를 요구하고 다양한 비 조건에서 일반화 능력이 떨어지는 기존 딥 러닝 모델의 한계를 극복한다.
• 가벼운 모듈식 네트워크 아키텍처를 설계하여, 낮은 파라미터 수로도 조건부에서의 비 줄무늬 제거를 위한 조건부-정밀 추정을 가능하게 한다.
• 모델을 탈착할 수 있도록 설계하여, 경량 비나 자원 제약 조건이 있는 환경에서도 성능 저하 없이 실용적인 구현을 가능하게 한다.
• 이를 통해 이미지 노이즈 제거와 같은 다른 저수준 시각 작업으로의 일반화 능력을 입증하고, 객체 검출과 같은 고수준 작업에서의 성능 향상도 보여준다.

제안 방법

• 각 블록이 잔차를 예측하고, 얕은 블록의 잔차를 더 깊은 블록의 예측에 가이드로 활용하는 계단식 네트워크 아키텍처를 제안한다.
• 각 블록 내에서 재귀적 합성곱을 적용하여 파라미터 수를 줄이면서도 특징 표현 능력을 유지한다.
• 모든 중간 블록 출력에 다중 척도 감독을 적용하여 음의 비 줄무늬 잔차에 대한 조건부-정밀 학습을 가능하게 한다.
• 모든 중간 블록 출력을 통합 학습을 통해 융합하여 최종 복원 품질을 향상시킨다.
• 각 블록에 글로벌 단축 연결을 도입하여 학습 안정성 향상과 기울기 흐름 개선을 도모한다.
• 모델을 탈착 가능한 아키텍처로 설계하여, 사용자는 가벼운 비나 자원 제약이 있는 환경에서 첫 번째 몇 개의 블록만 선택해도 강력한 성능 유지를 할 수 있다.

실험 결과

연구 질문

• RQ1 얕은 블록에서 유도된 잔차 가이드를 깊은 블록에 활용하는 계단식 네트워크가 표준 잔차 학습보다 단일 이미지 비 제거 품질을 향상시킬 수 있는가?
• RQ2 40,000개 미만의 파라미터를 가진 경량 아키텍처가 합성 및 실세계 비 제거 벤치마크에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ3 중간 출력에 대한 다중 척도 감독이 수렴 성능 향상과 더 세밀한 잔차 추정에 기여하는가?
• RQ4 제안된 모델이 성능 저하 없이 자원 제약이 있는 환경이나 경량 비 상황에서 효과적으로 탈착되어 사용될 수 있는가?
• RQ5 학습된 특징이 이미지 노이즈 제거와 같은 다른 저수준 시각 작업으로 얼마나 잘 일반화되는가? 또한 객체 검출과 같은 고수준 비전 파ip라인에서 성능 향상에 기여하는가?

주요 결과

• 5개 블록를 사용한 합성 데이터에서 ResGuideNet은 테스트 시 SSIM 0.943을 달성했으며, 중간 출력에서도 강력한 성능를 보였다 (블록 1에서 SSIM 0.927, 블록 3에서 SSIM 0.935).
• JORDER와 같은 최신 기준 모델보다 유사하거나 뛰어난 SSIM 성능를 달성하면서도 파라미터 수가 훨씬 적다 (37K 대비 일부 기준 모델의 10만 이상).
• 실세계 비가 내리는 이미지에서 경쟁 모델보다 더 흐릿하지 않은 결과를 생성했으며, 지도 없는 조건에서도 강력한 일반화 능력을 입증했다.
• ResGuideNet 3(3개 블록)는 GPU에서 0.06초, CPU에서 1.26초의 테스트 시 인퍼런스 속도를 기록하여, 특히 CPU에서 대부분의 기준 모델보다 뛰어난 성능를 보였다.
• 이미지 노이즈 제거 작업으로의 일반화 능력도 뛰어나, 가우시안 노이즈(σ=0.1)가 포함된 BSD500에서 SSIM 0.927을 달성하여 유사 복원 작업으로의 이식 가능성도 입증했다.
• Faster R-CNN의 전처리 단계로 사용했을 때, 강한 비 조건에서도 객체 검출 성능이 크게 향상되어 고수준 비전 파이프라인에서의 가치를 입증했다.