[논문 리뷰] RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining

Hong Wang, Qi Xie외 5명|arXiv (Cornell University)|2021. 07. 14.

Image Enhancement Techniques참고 문헌 79인용 수 10

한 줄 요약

이 논문은 단일 이미지 비정상 제거를 위한 해석 가능한 딥 컨volutional 딕셔너리 네트워크인 RCDNet을 제안한다. RCDNet은 비 줄무늬를 명시적으로 모델링하기 위해 비 컨volutional 딕셔너리(RCD) 사전을 사용한다. 물리적으로 의미 있는 모듈을 갖춘 신경망으로 반복적 프락시멀 알고리즘을 전개함으로써, RCDNet은 동적 비 커널 추론을 통해 명확한 해석 가능성과 일반화 능력을 확보하며, 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

As a common weather, rain streaks adversely degrade the image quality. Hence, removing rains from an image has become an important issue in the field. To handle such an ill-posed single image deraining task, in this paper, we specifically build a novel deep architecture, called rain convolutional dictionary network (RCDNet), which embeds the intrinsic priors of rain streaks and has clear interpretability. In specific, we first establish a RCD model for representing rain streaks and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. By unfolding it, we then build the RCDNet in which every network module has clear physical meanings and corresponds to each operation involved in the algorithm. This good interpretability greatly facilitates an easy visualization and analysis on what happens inside the network and why it works well in inference process. Moreover, taking into account the domain gap issue in real scenarios, we further design a novel dynamic RCDNet, where the rain kernels can be dynamically inferred corresponding to input rainy images and then help shrink the space for rain layer estimation with few rain maps so as to ensure a fine generalization performance in the inconsistent scenarios of rain types between training and testing data. By end-to-end training such an interpretable network, all involved rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to better deraining performance. Comprehensive experiments substantiate the superiority of our method, especially on its well generality to diverse testing scenarios and good interpretability for all its modules. Code is available in \emph{\url{https://github.com/hongwang01/DRCDNet}}.

연구 동기 및 목표

• 기존의 수작업으로 만든 사전이 복잡한 비 무늬를 포착하지 못하는 데 기인한 한계를 해결하기 위해.
• 딥 러닝 기반의 비 제거에서 물리적 사전을 직접 네트워크 아키텍처에 통합함으로써 모델의 해석 가능성 향상.
• 추론 중 비 커널을 동적으로 추론함으로써 다양한 비 유형에 대한 일반화 능력 향상.
• 비와 배경 특징을 충실하게 표현하는 데 있어 비커널과 프락시멀 연산자를 동시에 엔드 투 엔드로 학습.
• 학습 및 테스트 시 비 무늬가 다를 경우에도 뛰어난 성능과 강건성을 보여주는 실세계 환경에서의 우수한 성능 입증.

제안 방법

• RCDNet 아키텍처는 비 컨볼루션 딕셔너리(RCD) 모델을 해결하기 위해 설계된 반복적 프락시멀 기울기 하강 알고리즘을 전개하여 유도된다.
• 각 네트워크 모듈은 소프트 스위칭 또는 컨볼루션과 같은 알고리즘의 물리적 연산과 직접적으로 대응하여 해석 가능성 확보.
• 입력된 비 오는 이미지에 기반해 비 커널을 적응적으로 추론하는 동적 RCDNet(DRCDNet) 버전을 제안하여 도메인 갭 문제를 줄인다.
• 엔드 투 엔드 학습을 통해 비 커널과 프락시멀 연산자를 동시에 학습함으로써 비층과 배경층의 자동 특징 기반 특성화 가능.
• 비 줄무늬를 희박한 지도 위에서 학습된 비 커널의 희박한 컨볼루션으로 모델링하는 딕셔너리 학습 설정을 활용.
• 고정 및 동적 커널 추론을 모두 지원하여 테스트 시 예측되지 않은 비 유형에 대한 세밀한 캘리브레이션 가능.

실험 결과

연구 질문

• RQ1 비 줄무늬의 내재된 사전을 명시적으로 통합하여 더 높은 모델 투명성을 확보할 수 있는 해석 가능한 딥 네트워크 아키텍처를 설계할 수 있는가?
• RQ2 RCDNet 모듈의 해석 가능성은 내부 추론 과정 분석에 어떻게 기여하는가?
• RQ3 학습 데이터와 다를 경우 테스트 비 무늬에 대해 동적 비 커널 추론이 일반화 능력을 향상시킬 수 있는가?
• RQ4 시각적 품질과 정량적 지표 측면에서 RCDNet은 최신 기술 수준의 비 제거 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 제안된 방법은 비 제거 후 세분화 작업과 같은 후속 작업에서 높은 성능을 유지하는가?

주요 결과

• RCDNet은 합성 및 실세계 비 제거 벤치마크에서 최신 기술 수준의 성능를 달성하며, 이전 방법 대비 PSNR 및 SSIM에서 뚜렷한 향상을 보였다.
• 동적 RCDNet(DRCDNet) 버전은 CRCDNet 대비 세분화 작업에서 MIOU 기준 약 2%의 상대적 향상을 보이며, 더 뛰어난 일반화 능력을 입증했다.
• Cityscapes 데이터셋에서 DRCDNet은 직접 비 오는 이미지를 사용할 경우 대비 약 40%의 세분화 정확도 향상을 기록했다.
• DRCDNet은 JORDER_E(3.12초)와 같은 몇몇 최신 기술 수준의 방법보다 빠른 추론 속도(1장당 0.71초)를 확보하면서도 높은 정확도를 유지했다.
• 비 커널의 시각화 결과는 네트워크가 실제 관측과 일치하는 다양한 물리적으로 타당한 비 무늬를 학습하고 있음을 보여주었다.
• 네트워크의 해석 가능한 모듈 덕분에 특징 전파 및 변환 과정을 명확히 시각화할 수 있었으며, 이는 모델 분석 및 디버깅을 지원했다.