[논문 리뷰] Joint Self-Attention and Scale-Aggregation for Self-Calibrated Deraining Network

Cong Wang, Yutong Wu외 2명|arXiv (Cornell University)|2020. 08. 06.

Image Enhancement Techniques참고 문헌 31인용 수 7

한 줄 요약

이 논문은 단일 이미지 비제거에서 특징 표현을 향상시키기 위해 연합 자기주의 및 척도 집약 모듈을 자기 校정 컨볼루션과 통합한 자가 校정 비제거 네트워크인 JDNet을 제안한다. 장거리 공간적 및 채널 간 상관관계를 모델링하고 다중 척도 특징에 적응함으로써, JDNet은 합성 및 실세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성하여 PSNR와 SSIM에서 이전 방법보다 최대 0.01 및 0.0091 향상된다.

ABSTRACT

In the field of multimedia, single image deraining is a basic pre-processing work, which can greatly improve the visual effect of subsequent high-level tasks in rainy conditions. In this paper, we propose an effective algorithm, called JDNet, to solve the single image deraining problem and conduct the segmentation and detection task for applications. Specifically, considering the important information on multi-scale features, we propose a Scale-Aggregation module to learn the features with different scales. Simultaneously, Self-Attention module is introduced to match or outperform their convolutional counterparts, which allows the feature aggregation to adapt to each channel. Furthermore, to improve the basic convolutional feature transformation process of Convolutional Neural Networks (CNNs), Self-Calibrated convolution is applied to build long-range spatial and inter-channel dependencies around each spatial location that explicitly expand fields-of-view of each convolutional layer through internal communications and hence enriches the output features. By designing the Scale-Aggregation and Self-Attention modules with Self-Calibrated convolution skillfully, the proposed model has better deraining results both on real-world and synthetic datasets. Extensive experiments are conducted to demonstrate the superiority of our method compared with state-of-the-art methods. The source code will be available at \url{https://supercong94.wixsite.com/supercong94}.

연구 동기 및 목표

• 단일 이미지 비제거에서 전통적인 컨볼루션 네트워크가 장거리 상관관계와 다중 척도 특징을 포착하는 데 한계를 보이는 문제를 해결하기 위해.
• 합성 데이터셋이 일반화에 실패하는 실세계 비 오는 조건에서의 강건성을 향상시키기 위해.
• 자기주의 및 척도 집약 메커니즘을 자기 校정 컨볼루션 프레임워크 내에 통합하여 특징 표현을 향상시키기 위해.
• 제안된 모델이 의미 분할 및 객체 탐지와 같은 고수준 비전 작업에서 효과적인지 입증하기 위해.

제안 방법

• 다양한 수신장 내 특징을 학습하기 위해 척도 집약 모듈을 도입하여 다중 척도 특징 표현을 향상시킨다.
• 고정된 위치 가중치 없이 공간적 위치 간 특징을 적응적으로 융합하는 쌍별 자기주의 모듈을 활용하여 콘텐츠 인식 특징 융합을 가능하게 한다.
• 내부 특징 통신를 통해 각 컨볼루션 레이어의 효과적 수신장을 명시적으로 확장하기 위해 자기 校정 컨볼루션을 적용한다.
• 자기주의, 척도 집약, 자기 校정 컨볼루션의 세 구성 요소를 통합하여 공동 최적화를 위한 유일한 네트워크 아키텍처를 구성한다.
• 학습 중 구조적 세부 정보를 더 잘 유지하기 위해 음성 SSIM 손실 함수를 사용하여 정성적 품질을 향상시킨다.
• 아울러 합성(Rain100H) 및 실세계 비제거 벤치마크에서 모델을 검증하고, 구성 요소 기여도를 분리하기 위한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 표준 CNN에 비해 연합 자기주의 및 척도 집약이 단일 이미지 비제거의 특징 표현을 향상시키는가?
• RQ2 자기 校정 컨볼루션은 비제거 네트워크에서 특징 학습과 강건성을 어떻게 향상시키는가?
• RQ3 자기주의 및 다중 척도 모듈의 통합이 실세계 비 오는 이미지에서 더 나은 일반화를 이끌어내는가?
• RQ4 MAE 및 MSE에 비해 음성 SSIM 손실은 비제거 네트워크 최적화에서 얼마나 효과적인가?
• RQ5 제안된 비제거 모델은 의미 분할 및 객체 탐지와 같은 고수준 비전 작업의 우수한 전처리 단계로 활용될 수 있는가?

주요 결과

• JDNet은 Rain100H 데이터셋에서 PSNR 30.0160과 SSIM 0.9221을 기록하여 기준 모델 대비 PSNR 0.695 dB 향상되고 SSIM 0.0091 향상되었다.
• 분석 연구를 통해 자기 校정 컨볼루션 및 자기주의 모듈이 각각 성능 향상에 기여하며, 전체 모델이 가장 우수한 성능을 기록함을 확인하였다.
• 음성 SSIM 손실은 가장 높은 SSIM(0.9221)과 PSNR(30.0160)를 기록하여 MAE 및 MSE 손실에 비해 우월함을 입증하였다.
• 실세계 데이터셋에서의 시각적 비교 결과, JDNet은 조밀하고 비정규적인 비 줄무늬를 효과적으로 제거하면서 미세한 세부 사항과 질감을 유지하는 데 성공하였다.
• 의미 분할 및 객체 탐지 작업에서 JDNet은 더 선명한 비제거 이미지를 생성하여 최신 기술 수준의 비제거 기준 모델보다 더 정확한 예측을 이끌어냈다.
• 기존 방법이 효과적으로 비 줄무늬를 제거하지 못하는 실세계 조건에서도 모델가 강력한 일반화 능력을 보였다.