[논문 리뷰] A Model-driven Deep Neural Network for Single Image Rain Removal

Hong Wang, Qi Xie외 2명|arXiv (Cornell University)|2020. 05. 04.

Image Enhancement Techniques참고 문헌 55인용 수 27

한 줄 요약

이 논문은 단일 이미지 비 제거를 위한 모델 기반 딥 뉴럴 네트워크인 RCDNet을 제안한다. 이는 비 줄무늬의 물리적 사전 지식을 컨volutional 딕셔너리 학습 모델을 통해 통합한다. 반복적 프락시멀 그래디언트 알고리즘을 딥 아키텍처로 전개함으로써 RCDNet은 각 모듈이 알고리즘 단계에 직접 대응하므로 완전한 해석 가능성을 확보하며, 다양한 합성 및 실세계 비 이미지에서 정량적 지표와 시각적 품질 면에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Deep learning (DL) methods have achieved state-of-the-art performance in the task of single image rain removal. Most of current DL architectures, however, are still lack of sufficient interpretability and not fully integrated with physical structures inside general rain streaks. To this issue, in this paper, we propose a model-driven deep neural network for the task, with fully interpretable network structures. Specifically, based on the convolutional dictionary learning mechanism for representing rain, we propose a novel single image deraining model and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. Such a simple implementation scheme facilitates us to unfold it into a new deep network architecture, called rain convolutional dictionary network (RCDNet), with almost every network module one-to-one corresponding to each operation involved in the algorithm. By end-to-end training the proposed RCDNet, all the rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to its better deraining performance, especially in real scenarios. Comprehensive experiments substantiate the superiority of the proposed network, especially its well generality to diverse testing scenarios and good interpretability for all its modules, as compared with state-of-the-arts both visually and quantitatively. The source codes are available at \url{https://github.com/hongwang01/RCDNet}.

연구 동기 및 목표

• 기존 딥 러닝 기반 비 제거 방법에서의 해석 가능성 부족과 물리적 사전 지식 통합 부족 문제를 해결하기 위해.
• 비 줄무늬의 반복적이고 구조적인 특성을 반영하기 위해 컨volutional 딕셔너리 학습을 활용해 비 줄무늬를 명시적으로 모델링하는 딥 네트워크 아키텍처를 개발하기 위해.
• 단순하고 구현 가능한 연산(예: 컨볼루션, 임계처리, 스파arsity 감소)만을 사용하는 프락시멀 그래디언트 강하 기반 최적화 알고리즘을 설계하여 효율적인 딥 네트워크로의 전개를 가능하게 하기 위해.
• 네트워크 모듈과 알고리즘 단계 사이의 일대일 대응을 확보하여 네트워크 내부 메커니즘의 완전한 해석 가능성을 보장하기 위해.
• 엔드 투 엔드로 물리적으로 의미 있는 레인 커널과 배경 표현을 학습시켜 실세계 비 이미지에 대한 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• 비 줄무늬를 학습된 레인 커널과 희박한 레인 맵을 사용해 표현하는 레인 컨볼루션 딕셔너리(RCD) 모델을 제안하여 비 줄무늬의 반복적인 국소 패턴을 포착한다.
• RCD 기반 최적화 모델을 해결하기 위해 프락시멀 그래디언트 강하 알고리즘을 설계하며, 계산 효율성을 위해 컨볼루션, 임계처리, 스파arsity 감소와 같은 단순한 연산만을 사용한다.
• 반복 알고리즘을 레이어 수준에서 RCDNet이라 불리는 딥 리소지드 네트워크 아키텍처로 전개하며, 각 레이어가 알고리즘의 한 단계에 정확히 대응한다.
• 엔드 투 엔드로 레인 커널, 희박한 레인 맵, 배경 레이어를 동시에 학습시켜 물리적 타당성을 유지하면서 데이터에 적응하도록 한다.
• 모든 구성 요소—레인 커널, 프락시멀 연산자, 배경 특징—이 백프로파게이션을 통해 최적화가 가능하도록 유연한 형식을 사용한다.
• 다중 척도 리소지드 설계를 활용해 특징 표현 능력을 향상시키고, 비 제거 과정에서 미세한 질감을 유지한다.

실험 결과

연구 질문

• RQ1 레이어 모듈을 알고리즘 단계에 직접 매핑함으로써 해석 가능성이 완전한 단일 이미지 비 제거 딥 뉴럴 네트워크를 설계할 수 있는가?
• RQ2 특히 비 줄무늬의 컨볼루션 딕셔너리 학습 모델을 통합함으로써 비 제거 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 특히 실세계 환경에서 다양한 복잡한 비 패턴을 처리할 때 순수 데이터 기반의 CNN보다 모델 기반 딥 네트워크가 우월한가?
• RQ4 알고리즘 단계와 네트워크 레이어 사이의 일대일 대응은 네트워크의 투명성과 신뢰성에 얼마나 기여하는가?
• RQ5 학습된 레인 커널과 프락시멀 연산자는 기저의 비 제거 메커니즘에 대한 의미 있는 통찰을 제공할 수 있는가?

주요 결과

• SPA-Data 실세계 벤치마크에서 RCDNet은 최고의 PSNR(41.47)와 SSIM(0.9834)를 기록하여 PReNet, SPANet, JORDER_E를 포함한 모든 최신 기술(SOTA)을 초월한다.
• Rain100L 데이터셋에서 RCDNet은 PSNR 40.00 dB, SSIM 0.9860을 기록하여 합성 및 실세계 비 조건에서 모두 모든 경쟁 방법을 능가한다.
• 시각적 비교 결과 RCDNet은 조밀하고 복잡한 비 줄무늬를 효과적으로 제거하면서도 미세한 질감을 유지하고 잡음 최소화에 성공했으며, 특히 고밀도 비 패턴에서 뛰어난 성능을 보였다.
• 추출된 레인 커널과 희박한 맵은 낮은 배경 유출과 명확한 비와 장면 레이어 간 분리로 강력한 일반화 능력을 보였다.
• 네트워크의 해석 가능성 덕분에 각 모듈의 기능을 직접 분석할 수 있었으며, 비 제거가 학습 데이터에 과적합되는 것이 아니라 학습된 물리적 사전 지식에 의해 이뤄지는 것으로 확인되었다.
• 인터넷 데이터(147장의 실세계 비 이미지, 정답 없음)에서도 RCDNet은 뛰어난 성능 유지를 보이며, 예상치 못한 복잡한 비 패턴에 대한 강력한 내구성을 입증했다.