[논문 리뷰] DCANet: Dual Convolutional Neural Network with Attention for Image Blind Denoising

Wencong Wu, Guannan Lv외 4명|arXiv (Cornell University)|2023. 04. 04.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 이미지 블라인드 디노이징을 위한 공간적 및 채널 주의 모듈을 갖춘 신규 이중 컨볼루션 신경망인 DCANet을 제안한다. 노이즈 추정 네트워크, 상보적 특징 학습을 위한 이중 브랜치 CNN, 주의 메커니즘을 통합하여 실제 노이즈를 효과적으로 억제하며, 유리한 파rameter 대 성능의 상호 교환 조건을 확보한 상태최고 수준의 성능을 달성한다.

ABSTRACT

Noise removal of images is an essential preprocessing procedure for many computer vision tasks. Currently, many denoising models based on deep neural networks can perform well in removing the noise with known distributions (i.e. the additive Gaussian white noise). However eliminating real noise is still a very challenging task, since real-world noise often does not simply follow one single type of distribution, and the noise may spatially vary. In this paper, we present a new dual convolutional neural network (CNN) with attention for image blind denoising, named as the DCANet. To the best of our knowledge, the proposed DCANet is the first work that integrates both the dual CNN and attention mechanism for image denoising. The DCANet is composed of a noise estimation network, a spatial and channel attention module (SCAM), and a CNN with a dual structure. The noise estimation network is utilized to estimate the spatial distribution and the noise level in an image. The noisy image and its estimated noise are combined as the input of the SCAM, and a dual CNN contains two different branches is designed to learn the complementary features to obtain the denoised image. The experimental results have verified that the proposed DCANet can suppress both synthetic and real noise effectively. The code of DCANet is available at https://github.com/WenCongWu/DCANet.

연구 동기 및 목표

• 노이즈 분포와 수준이 알려져 있지 않고 공간적으로 변하는 실제 이미지 디노이징 문제를 해결한다.
• 기존의 딥러닝 기반 모델들이 특정 노이즈 유형이나 수준에 대해 훈련되어 실생활 상황에서의 유연성이 떨어지는 점을 보완한다.
• 이중 CNN 브랜치와 공간-채널 주의 메커니즘을 통합하여 특징 학습 능력과 노이즈 억제 성능을 향상시킨다.
• 실제 구현에 적합한 모델 복잡성과 디노이징 성능의 균형을 확보한다.
• 수동 조정 없이 엔드 투 엔드로 노이즈 분포와 수준을 추정하는 완전한 블라인드 디노이징 모델을 개발한다.

제안 방법

• 입력된 노이즈 있는 이미지로부터 공간적 노이즈 분포와 노이즈 수준을 예측하기 위해 노이즈 추정 네트워크를 활용한다.
• 노이즈 있는 이미지와 추정된 노이즈를 처리하여 관련 특징을 강조하고 불필요한 특징을 억제하는 공간-채널 주의 모듈(SCAM)을 설계한다.
• 동일한 입력으로부터 상보적 특징을 학습하기 위해 두 개의 별도 브랜치를 갖춘 이중 컨볼루션 디노이징 네트워크를 구현한다.
• 노이즈 있는 이미지와 추정된 노이즈를 SCAM에 입력하여, 이를 통해 이중 CNN이 정제된 이미지를 재구성하도록 유도한다.
• 구조적 및 질감 세부 정보를 유지하기 위해 인지적 손실과 L1 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 스킵 연결과 잔차 학습을 활용하여 훈련 안정성 향상과 특징 전파 개선을 도모한다.

실험 결과

연구 질문

• RQ1 주목적 기반의 이중 브랜치 CNN이 단일 브랜치 모델 대비 블라인드 이미지 디노이징 성능을 향상시키는가?
• RQ2 노이즈 추정 네트워크와 주의 메커니즘, 이중 브랜치 학습을 통합하면 실제 노이즈에 대한 일반화 성능이 향상되는가?
• RQ3 합성 노이즈 및 실제 노이즈에서 DCANet의 PSNR, SSIM, FLOPs 측면에서 SOTA 모델과의 성능 비교는 어떻게 되는가?
• RQ4 제안된 아키텍처는 모델 복잡성과 디노이징 정확도 사이에 유리한 상호 교환 조건을 달성할 수 있는가?
• RQ5 블라인드 디노이징 환경에서 주의 메커니즘이 노이즈를 효과적으로 걸러내면서도 이미지 세부 정보를 유지하는 데 효과적인가?

주요 결과

• DCANet는 합성 노이즈 및 실제 노이즈 데이터셋 모두에서 경쟁적인 PSNR 및 SSIM 점수를 확보하며, FFDNet, BUIFD, ADNet 등의 몇몇 SOTA 모델을 능가한다.
• NTIRE2020 실 노이즈 벤치마크에서 DCANet는 컬러 이미지 기준 0.258 dB, Grayscale 이미지 기준 0.252 dB의 PSNR를 기록하여 강력한 내성성을 입증한다.
• 단지 1.389만 개의 파라미터를 가진 DCANet는 AirNet(8.9K 파라미터) 및 VDN(7.8K 파라미터) 등 더 많은 파라미터를 가진 모델들과 비교해도 우수하거나 유사한 성능을 달성한다.
• 절단 실험 결과 이중 브랜치 구조와 주의 메커니즘이 각각 성능 향상에 기여하며, 조합 시 최고의 성능 결과를 도출함을 확인했다.
• 엔드 투 엔드 노이즈 추정과 적응형 특징 학습 덕분에 다양한 노이즈 수준과 유형, 특히 공간적으로 변하는 노이즈에 대해서도 잘 일반화된다.
• DCANet의 FLOPs(37.88 G)는 중간 수준으로 효율적인 추론을 보이며, 비교적 낮은 계산 비용으로도 높은 성능 유지를 유지한다.