[논문 리뷰] Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining

Xia Li, Jianlong Wu외 3명|ArXiv.org|2018. 07. 16.

Image Enhancement Techniques참고 문헌 30인용 수 29

한 줄 요약

이 논문은 단일 이미지 비제거를 위한 순환 스위즈-엑스citation 컨텍스트 집약 네트워크인 RESCAN을 제안한다. 비제거 과정을 확장된 수신장이 있는 다중 배율 컨볼루션을 사용해 다단계로 분해한다. 스위즈-엑스citation 블록을 통합해 비줄기 층의 가중치를 적응적으로 조정하고, 순환 신경망을 활용해 단계 간에 유용한 정보를 유지하고 전파함으로써, 합성 및 실세계 데이터셋에서 모두 최신 기술 수준의 성능을 달성하며, 모든 지표에서 이전 방법을 능가하는 PSNR 및 SSIM 성능을 기록한다.

ABSTRACT

Rain streaks can severely degrade the visibility, which causes many current computer vision algorithms fail to work. So it is necessary to remove the rain from images. We propose a novel deep network architecture based on deep convolutional and recurrent neural networks for single image deraining. As contextual information is very important for rain removal, we first adopt the dilated convolutional neural network to acquire large receptive field. To better fit the rain removal task, we also modify the network. In heavy rain, rain streaks have various directions and shapes, which can be regarded as the accumulation of multiple rain streak layers. We assign different alpha-values to various rain streak layers according to the intensity and transparency by incorporating the squeeze-and-excitation block. Since rain streak layers overlap with each other, it is not easy to remove the rain in one stage. So we further decompose the rain removal into multiple stages. Recurrent neural network is incorporated to preserve the useful information in previous stages and benefit the rain removal in later stages. We conduct extensive experiments on both synthetic and real-world datasets. Our proposed method outperforms the state-of-the-art approaches under all evaluation metrics. Codes and supplementary material are available at our project webpage: https://xialipku.github.io/RESCAN .

연구 동기 및 목표

• 비줄기의 방향, 형태, 투명도가 다양하게 변하는 강우 환경에서 단일 이미지 비제거 문제를 해결하기 위해.
• 지수적 배율 비율을 가진 확장 컨볼루션을 통해 큰 수신장을 활용해 컨텍스트 특징 학습을 향상시키기 위해.
• 스위즈-엑스citation 블록을 통한 적응적 주의 가중치 할당을 통해 비줄기의 계층적이고 겹치는 성질을 모델링하기 위해.
• 이전 단계에서의 유용한 정보를 유지하고 활용하기 위해 순환 신경망을 도입해 다단계 비제거 단계 간의 시간 유사 의존성을 활용하기 위해.
• 합성 및 실세계 비제거 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하기 위해.

제안 방법

• 네트워크는 각 단계에서 이전 단계의 출력을 개선하는 컨텍스트 집약 네트워크(SCAN)를 기반으로 한 다단계 비제거 처리를 수행한다.
• 깊이를 증가시키지 않고도 수신장을 확장하기 위해 지수적 증가 비율(예: 1, 2, 4, 8, 16, 32, 64)을 가진 확장 컨볼루션을 사용한다.
• 각 컨볼루션 레이어 이후에 스위즈-엑스citation(SE) 블록을 삽입하여 채널별 주의 가중치(알파값)를 학습함으로써, 강도와 투명도에 따라 특정 비줄기 층을 적응적으로 강조하거나 억제한다.
• 은닉 상태 유지 및 전파를 위해 단계 간에 순환 신경망 유닛(ConvRNN, ConvLSTM, ConvGRU)을 통합한다.
• 완전한 예측 프레임워크가 순환 모듈에 적용되며, 은닉 상태는 현재 입력과 이전 은닉 상태에 기반해 업데이트되어 특징 개선이 향상된다.
• 독립적인 비줄기 층을 별도의 채널로 간주하기 때문에 배치 정규화를 기본 네트워크에서 제거하여 간섭을 방지한다.

실험 결과

연구 질문

• RQ1 다양한 강도와 방향을 가진 겹치는 비줄기 층을 모델링하는 다단계 비제거 프레임워크가 단일 단계 방법보다 더 높은 성능을 낼 수 있는가?
• RQ2 스위즈-엑스citation 메커니즘이 비줄기 층의 시각적 특성에 따라 적응적으로 가중치를 할당하는 데 얼마나 효과적인가?
• RQ3 비제거 단계 간에 순환 네트워크를 통합함으로써 이전 단계의 유용한 정보를 유지하고 활용함으로써 성능 향상이 이루어지는가?
• RQ4 다양한 순환 유닛(ConvRNN, ConvLSTM, ConvGRU)은 비제거 성능과 안정성 측면에서 어떻게 비교되는가?
• RQ5 지수적 증가 배율을 가진 컨텍스트 집약 네트워크가 표준 잔차 또는 인코더-디코더 아키텍처보다 장거리 컨텍스트 의존성을 더 잘 포착할 수 있는가?

주요 결과

• Rain800 데이터셋에서 RESCAN는 PSNR 23.45와 SSIM 0.8112를 기록하여, 이전 최고 성능 방법인 SCAN(23.11 PSNR, 0.7657 SSIM)을 크게 능가한다.
• 더 도전적인 Rain100H 데이터셋에서 RESCAN는 23.56 PSNR와 0.7456 SSIM을 기록하여, 이전 최신 기술 수준 방법(CAN)을 0.63 PSNR와 0.0123 SSIM 향상으로 능가한다.
• ConvLSTM+Full 프레임워크가 가장 뛰어난 성능을 보였으며, Rain800에서는 24.37 PSNR와 0.8384 SSIM, Rain100H에서는 25.64 PSNR와 0.8334 SSIM을 기록했다.
• 제거 분석 결과, 배치 정규화를 제거함으로써 성능 향상이 확인되었으며, 비줄기 층이 상호 독립적이므로 배치 정규화가 학습을 방해하기 때문이다.
• SE 블록의 통합은 성능 향상에 기여하며, CAN에서 SCAN으로의 전환으로 0.28–0.30 PSNR 향상이 관찰되었다.
• 이전 은닉 상태를 기각하는 반복 프레임워크(Iter)는 모든 RNN 변종보다 성능이 열 劣하므로, 단계 간 순환적 정보 흐름의 중요성을 입증한다.