[논문 리뷰] Dual Residual Attention Network for Image Denoising

Wencong Wu, Shijie Liu외 3명|arXiv (Cornell University)|2023. 05. 07.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

이 논문은 합성 및 실세계 노이즈 모두에서 최고 성능을 달성하기 위해 두 개의 병렬 브랜치를 사용하는 이중 잔차 주의망(DRANet)을 제안한다. 하나의 브랜치는 잔차 주의 블록(RAB)을, 다른 하나는 하이브리드 확장 잔차 주의 블록(HDRAB)을 사용하여 국소적이고 보완적인 특징을 추출한다. 스킵 연결, 주의 기반 특징 필터링, 확장 컨볼루션을 통합함으로써 DRANet는 파rameter 수가 적고 경쟁적인 추론 속도를 유지하면서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In image denoising, deep convolutional neural networks (CNNs) can obtain favorable performance on removing spatially invariant noise. However, many of these networks cannot perform well on removing the real noise (i.e. spatially variant noise) generated during image acquisition or transmission, which severely sets back their application in practical image denoising tasks. Instead of continuously increasing the network depth, many researchers have revealed that expanding the width of networks can also be a useful way to improve model performance. It also has been verified that feature filtering can promote the learning ability of the models. Therefore, in this paper, we propose a novel Dual-branch Residual Attention Network (DRANet) for image denoising, which has both the merits of a wide model architecture and attention-guided feature learning. The proposed DRANet includes two different parallel branches, which can capture complementary features to enhance the learning ability of the model. We designed a new residual attention block (RAB) and a novel hybrid dilated residual attention block (HDRAB) for the upper and the lower branches, respectively. The RAB and HDRAB can capture rich local features through multiple skip connections between different convolutional layers, and the unimportant features are dropped by the residual attention modules. Meanwhile, the long skip connections in each branch, and the global feature fusion between the two parallel branches can capture the global features as well. Moreover, the proposed DRANet uses downsampling operations and dilated convolutions to increase the size of the receptive field, which can enable DRANet to capture more image context information. Extensive experiments demonstrate that compared with other state-of-the-art denoising methods, our DRANet can produce competitive denoising performance both on synthetic and real-world noise removal.

연구 동기 및 목표

• 실세계 노이즈와 같은 공간적으로 변동하는 노이즈를 다루는 데에 기존의 딥 컨볼루션 신경망의 한계를 해결하기 위해.
• 모델 깊이를 단순히 늘리지 않고 아키텍처를 넓히고 특징 학습 능력을 향상시켜 성능을 향상시키기 위해.
• 모델 복잡성과 노이즈 제거 정확도 사이의 균형을 맞춘 가벼우면서도 강력한 노이즈 제거 신경망을 개발하기 위해.
• 주의 메커니즘과 스킵 연결을 통해 효과적인 특징 필터링 및 전역적 맥락 캡처를 가능하게 하기 위해.
• 다양한 노이즈 유형에서 고품질 이미지 복원을 유지하면서도 경쟁적인 추론 속도를 확보하기 위해.

제안 방법

• 표준 잔차 주의 블록(RAB)을 사용하는 하위망과 하이브리드 확장 잔차 주의 블록(HDRAB)을 사용하는 하위망을 갖춘 이중 브랜치 아키텍처를 설계한다.
• 각 RAB 및 HDRAB 내부에 다수의 스킵 연결을 통합하여 다양한 컨볼루션 레이어 간의 기울기 흐름과 특징 학습을 향상시킨다.
• RAB 및 HDRAB에서 잔차 주의 모듈을 활용하여 훈련 중에 관련 없는 특징을 억제하고 정보가 풍부한 특징을 강조한다.
• 각 브랜치 내부의 장거리 스킵 연결을 통해 깊은 레이어를 넘어서도 고수준 표현을 유지하고 전파한다.
• 두 브랜치의 특징을 연결하여 전역 특징 융합을 수행함으로써 보완적인 정보를 포함한 최종 특징 표현을 풍부하게 한다.
• 다운샘플링과 확장 컨볼루션을 활용하여 파rameter 수를 크게 증가시키지 않으면서도 수용역을 확장하고 더 넓은 이미지 맥락을 캡처한다.

실험 결과

연구 질문

• RQ1 특수화된 블록을 갖춘 이중 브랜치 아키텍처가 합성 및 실세계 이미지 노이즈 제거 작업에서 성능 향상에 기여하는가?
• RQ2 잔차 주의와 확장 컨볼루션의 조합이 이미지 노이즈 제거를 위한 국소적 및 전역적 특징 학습을 얼마나 효과적으로 향상시키는가?
• RQ3 제안된 DRANet가 최신 기술 수준의 방법들과 비교해 모델 복잡성, 추론 속도, 노이즈 제거 품질 사이의 균형을 얼마나 잘 달성하는가?
• RQ4 주의 메커니즘과 스킵 연결이 이미지 노이즈 제거 신경망에서 특징 필터링 및 표현 학습을 얼마나 향상시키는가?
• RQ5 주의 메커니즘을 갖춘 좁은 깊이의 아키텍처가 실세계 노이즈 환경에서 더 깊거나 넓은 모델보다 성능이 뛰어나게 되는가?

주요 결과

• DRANet는 합성 및 실세계 노이즈 제거 벤치마크에서 경쟁적인 PSNR 및 SSIM 점수를 기록하며, DnCNN-B, FFDNet, ADNet와 같은 많은 최신 기술 수준의 방법들을 능가한다.
• 노이즈 수준 25에서 Set12 데이터셋에서 DRANet는 PSNR 32.45 dB를 기록했으며, 동일한 벤치마크에서 DnCNN-B(32.31 dB)와 FFDNet(32.38 dB)를 모두 초월한다.
• 회색조 이미지에 대해 DRANet는 1,612K 파라미터만을 사용하며, AINDNet(13,764K)와 AirNet(8,930K)와 같은 모델들보다 훨씬 적은 파라미터를 사용하면서도 뛰어난 성능을 유지한다.
• 추론 속도 평가 결과, 1024×1024 컬러 이미지에서 DRANet는 1.061초 내에 실행되며, BM3D와 MCWNNM보다 빠르고 DnCNN-B 및 FFDNet와 경쟁적인 성능을 보였다.
• 제거 분석 결과 이중 브랜치 아키텍처와 주의 모듈이 성능 향상에 크게 기여하며, 특히 실세계 노이즈에 대해 HDRAB 브랜치가 뛰어난 효과를 보였다.
• 전역 특징 융합과 장거리 스킵 연결은 특히 고노이즈 영역에서 세밀한 무늬와 윤곽을 재구성하는 데 모델의 능력을 향상시켰다.