[논문 리뷰] Spatial-Adaptive Network for Single Image Denoising

Meng Chang, Qi Li외 2명|arXiv (Cornell University)|2020. 01. 28.

Image and Signal Denoising Methods참고 문헌 38인용 수 6

한 줄 요약

이 논문은 공간적 적응형 특징 추출을 기반으로 하여 국소적인 무늬와 에지 정보에 따라 동적으로 관련 특징을 샘플링하는 잔차 공간적 적응형 블록(Residual Spatial-Adaptive Blocks)과 조절 가능한 변형 가능 합성곱을 사용하는 SADNet을 제안한다. 이는 합성 및 실제 노이즈가 있는 이미지에서 효과적인 노이즈 제거를 가능하게 하며, 다중 척도 특징 학습과 굵은-세밀한 노이즈 제거를 위한 인코더-디코더 구조에 맥락 블록을 통합함으로써 계산 비용을 줄이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Previous works have shown that convolutional neural networks can achieve good performance in image denoising tasks. However, limited by the local rigid convolutional operation, these methods lead to oversmoothing artifacts. A deeper network structure could alleviate these problems, but more computational overhead is needed. In this paper, we propose a novel spatial-adaptive denoising network (SADNet) for efficient single image blind noise removal. To adapt to changes in spatial textures and edges, we design a residual spatial-adaptive block. Deformable convolution is introduced to sample the spatially correlated features for weighting. An encoder-decoder structure with a context block is introduced to capture multiscale information. With noise removal from the coarse to fine, a high-quality noisefree image can be obtained. We apply our method to both synthetic and real noisy image datasets. The experimental results demonstrate that our method can surpass the state-of-the-art denoising methods both quantitatively and visually.

연구 동기 및 목표

• 고정된 수신 영역을 가진 표준 CNN의 한계를 해결하여 노이즈가 있는 이미지에서 과도하게 매끄럽게 처리되고 세부 정보가 손실되는 문제를 해결한다.
• 비국소적 또는 깊은 네트워크 접근 방식의 비효율성을 해결하여 높은 계산 비용과 메모리 소비를 줄인다.
• 공간적으로 변하는 복잡한 노이즈 패턴을 가진 실제 이미지에서 효과적인 블라인드 노이즈 제거를 가능하게 한다.
• 중요한 세부 정보와 무늬 복원 능력을 향상시키면서도 빠른 추론 속도를 유지한다.
• 최소한의 계산 오버헤드로 합성 및 실제 이미지 데이터셋 모두에서 뛰어난 성능을 달성한다.

제안 방법

• 국소 이미지 콘텐츠에 기반해 공간적으로 관련 있는 특징을 적응적으로 샘플링하는 조절 가능한 변형 가능 합성곱을 사용하는 잔차 공간적 적응형 블록(RSAB)을 제안한다.
• 다중 척도 특징 학습과 굵은-세밀한 노이즈 제거를 위해 인코더-디코더 아키텍처에 RSAB와 잔차 블록을 통합한다.
• 가장 굵은 척도에서 맥락 블록을 통합하여 수신 영역를 확장하고 장거리 의존성을 포착하지만 FLOPs는 크게 증가시키지 않는다.
• 이미지 무늬와 에지 정보에 기반해 변형 가능 합성곱의 오프셋 예측을 통해 샘플링 위치를 동적으로 조정한다.
• 다중 척도 감시와 스케일 연결을 활용하여 노이즈 제거 과정에서 고주파 세부 정보를 유지한다.
• DnD, SIDD, Nam 등의 합성 및 실제 노이즈가 있는 데이터셋을 사용하여 엔드 투 엔드 블라인드 노이즈 제거를 최적화한다.

실험 결과

연구 질문

• RQ1 표준 CNN에 비해 공간적 적응형 합성곱 메커니즘이 단일 이미지 노이즈 제거에서 세부 정보 보존과 과도한 매끄러움 감소에 기여하는가?
• RQ2 잔차 블록과 결합된 변형 가능 합성곱의 통합이 공간적으로 복잡한 노이즈 패턴을 가진 실제 이미지에서 성능에 어떤 영향을 미치는가?
• RQ3 맥락 블록을 통합한 인코더-디코더 아키텍처가 저비용으로 다중 척도 특징 학습을 얼마나 잘 달성할 수 있는가?
• RQ4 제안된 방법이 실제 이미지 데이터셋에서 기존 최신 기술 수준의 모델보다 정량적 지표와 시각적 품질 면에서 뛰어난 성능을 보이는가?
• RQ5 노이즈 수준이나 분포에 대한 사전 지식 없이도 네트워크가 블라인드 노이즈 제거 시나리오에 효과적으로 일반화되는가?

주요 결과

• DnD sRGB 데이터셋에서 SADNet은 PSNR 39.59 dB, SSIM 0.9523을 기록하여 Path-Restore 및 RIDNet을 포함한 모든 비교 모델을 능가한다.
• SIDD 검증 세트에서 SADNet은 PSNR 39.46 dB를 기록하여 CBDNet(30.78 dB), PD(32.94 dB), RIDNet(38.71 dB)를 크게 앞서며 성능을 뛰어나게 한다.
• JPEG 압축 이미지가 포함된 Nam 데이터셋에서 SADNet은 PSNR 42.92 dB, SSIM 0.9839를 기록하여 RIDNet(41.04 dB), PD(41.09 dB), CBDNet*(41.31 dB)를 초월한다.
• Nam 데이터셋에서 RIDNet 대비 1.88 dB, CBDNet* 대비 1.61 dB의 PSNR 향상을 기록하여 압축 아티팩트에 대한 강력한 내구성을 입증한다.
• 430만 개의 파라미터를 가짐에도 불구하고 SADNet은 480×320 이미지에서 FLOPs 50.1G, 추론 시간 26.7ms를 기록하여 MemNet 및 RNAN과 같은 더 깊은 모델보다 훨씬 빠르다.
• DnD, SIDD, Nam 데이터셋에서의 시각적 비교 결과, SADNet은 경계와 무늬를 경쟁 모델보다 더 잘 보존하며, 일반적으로 세부 구조를 흐리게 하거나 왜곡시키지 않는다.