[논문 리뷰] EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining

Qing Guo, Jingyang Sun외 5명|arXiv (Cornell University)|2020. 09. 19.

Image Enhancement Techniques참고 문헌 43인용 수 17

한 줄 요약

이 논문은 실시간 추론(이미지당 10ms 미만)을 달성하기 위해 학습 가능한 커널 예측 네트워크를 사용하는 픽셀 단위의 확장 필터링을 활용한 모델에 종속되지 않은 단일 단계의 비강우 제거 방법인 EfficientDeRain을 제안한다. 이는 RCDNet과 같은 최신 기술(SOTA)보다 80배 이상 빠르며, 높은 비강우 제거 성능을 유지한다. 또한 실제 강우 이미지에 대한 시뮬레이션에서 실세계로의 일반화 갭을 해소하기 위한 데이터 증강 전략인 RainMix를 추가로 도입한다.

ABSTRACT

Single-image deraining is rather challenging due to the unknown rain model. Existing methods often make specific assumptions of the rain model, which can hardly cover many diverse circumstances in the real world, making them have to employ complex optimization or progressive refinement. This, however, significantly affects these methods' efficiency and effectiveness for many efficiency-critical applications. To fill this gap, in this paper, we regard the single-image deraining as a general image-enhancing problem and originally propose a model-free deraining method, i.e., EfficientDeRain, which is able to process a rainy image within 10~ms (i.e., around 6~ms on average), over 80 times faster than the state-of-the-art method (i.e., RCDNet), while achieving similar de-rain effects. We first propose the novel pixel-wise dilation filtering. In particular, a rainy image is filtered with the pixel-wise kernels estimated from a kernel prediction network, by which suitable multi-scale kernels for each pixel can be efficiently predicted. Then, to eliminate the gap between synthetic and real data, we further propose an effective data augmentation method (i.e., RainMix) that helps to train network for real rainy image handling.We perform comprehensive evaluation on both synthetic and real-world rainy datasets to demonstrate the effectiveness and efficiency of our method. We release the model and code in https://github.com/tsingqguo/efficientderain.git.

연구 동기 및 목표

• 복잡한 최적화나 점진적 개선에 의존하는 기존 비강우 제거 방법의 비효율성을 해결하기 위해.
• 일반화를 실세계 시나리오로 제한하는 특정 강우 모델 가정에 대한 의존성을 제거하기 위해.
• 자율주행과 같은 실시간 응용 프로그램에 적합한 고효율, 모델에 종속되지 않은 비강우 제거 솔루션을 개발하기 위해.
• 효과적인 데이터 증강을 통해 합성된 강우 이미지와 실제 강우 이미지 사이의 도메인 갭을 해소하기 위해.

제안 방법

• 각 픽셀이 전용 커널 예측 네트워크에 의해 예측된 다중 척도 커널을 사용하는 픽셀 단위의 확장 필터링을 제안한다.
• 반복 최적화나 점진적 개선 없이도 고속 추론이 가능한 경량 단일 단계 아키텍처를 활용한다.
• 합성 강우 이미지와 실제 강우 패치를 혼합하여 실세계 데이터에서의 내성 향상을 도모하는 데이터 증강 기법인 RainMix를 도입한다.
• 구조적 보존과 픽셀 수준 정확성의 균형을 맞추기 위해 L1과 SSIM을 조합한 하이브리드 손실 함수를 사용한다.
• 로컬 이미지 콘텐츠 기반으로 공간적으로 변하는 커널을 적응적으로 추정하기 위해 커널 예측 네트워크를 엔드 투 엔드로 훈련한다.
• 학습된 커널을 확장 컨벌루션을 통해 적용하여 다중 척도 강우 줄무늬를 효과적으로 억제하면서도 객체 경계를 유지한다.

실험 결과

연구 질문

• RQ1 명시적인 강우 모델 가정에 의존하지 않고도 높은 성능과 초고속 효율을 동시에 달성할 수 있는 모델에 종속되지 않은 단일 단계 비강우 제거 방법은 가능한가?
• RQ2 학습 가능한 공간적 적응형 커널을 사용하는 픽셀 단위의 확장 필터링은 다양한 강우 패턴을 얼마나 효과적으로 억제할 수 있는가?
• RQ3 표준 데이터 증강과 비교했을 때 RainMix는 실세계 강우 이미지로의 일반화에 얼마나 기여하는가?
• RQ4 다양한 비강우 제거 아키텍처에서 PSNR/SSIM 성능와 추론 속도 사이의 상충 관계는 어떠한가?

주요 결과

• EfficientDeRain는 평균 이미지당 추론 시간이 6ms로, 최신 기술(SOTA)인 RCDNet보다 80배 이상 빠르다.
• RainMix, 확장 필터링, 그리고 병합된 L1+SSIM 손실을 포함한 최종 모델 버전(v4)은 Rain100H에서 가장 높은 PSNR와 SSIM 성능를 기록하여 모든 구성 요소의 효과를 입증한다.
• 확장 구조를 추가함으로써 추론 시간이 약 1.5ms만 증가하므로, 성능 향상에 따른 효율성 손실은 극히 미미하다.
• 시각화 결과 RainMix가 실제 이미지에서 무거운 다각도 강우 줄무늬 제거 능력을 크게 향상시킴을 보여주며, 표준 훈련 방식은 이를 해결하지 못한다.
• SPA 실세계 데이터셋에서 RainMix 없이 훈련된 모델들은 항상 잔여 강우 흔적을 남기며(빨간 화살표로 확인 가능), 이는 RainMix가 실세계 내성에서 핵심적인 역할을 한다는 것을 확인한다.
• 제거 분석 결과 각 구성 요소인 확장 필터링, RainMix, 병합 손실이 성능 향상에 점진적으로 기여하며, 전체 파이프라인에서 최적의 성능을 달성함을 확인한다.