[논문 리뷰] Adaptive Dynamic Filtering Network for Image Denoising

Hao Shen, Zhong‐Qiu Zhao외 1명|arXiv (Cornell University)|2022. 11. 22.

Image and Signal Denoising Methods인용 수 9

한 줄 요약

이 논문은 고주파 및 다중 척도 특징 학습을 위한 동적 컨볼루션을 향상시키기 위해 공간적으로 향상된 커널 생성(SEKG) 모듈을 활용하는 새로운 적응형 동적 필터링 네트워크인 ADFNet을 제안한다. 다중 차원 특징 통합(MFI) 메커니즘과 함께 동적 컨볼루션 블록(DCB) 및 다중 척도 동적 컨볼루션 블록(MDCB)을 통합함으로써, ADFNet은 저비용 계산량으로도 합성 및 실세계 가우시안 노이즈 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In image denoising networks, feature scaling is widely used to enlarge the receptive field size and reduce computational costs. This practice, however, also leads to the loss of high-frequency information and fails to consider within-scale characteristics. Recently, dynamic convolution has exhibited powerful capabilities in processing high-frequency information (e.g., edges, corners, textures), but previous works lack sufficient spatial contextual information in filter generation. To alleviate these issues, we propose to employ dynamic convolution to improve the learning of high-frequency and multi-scale features. Specifically, we design a spatially enhanced kernel generation (SEKG) module to improve dynamic convolution, enabling the learning of spatial context information with a very low computational complexity. Based on the SEKG module, we propose a dynamic convolution block (DCB) and a multi-scale dynamic convolution block (MDCB). The former enhances the high-frequency information via dynamic convolution and preserves low-frequency information via skip connections. The latter utilizes shared adaptive dynamic kernels and the idea of dilated convolution to achieve efficient multi-scale feature extraction. The proposed multi-dimension feature integration (MFI) mechanism further fuses the multi-scale features, providing precise and contextually enriched feature representations. Finally, we build an efficient denoising network with the proposed DCB and MDCB, named ADFNet. It achieves better performance with low computational complexity on real-world and synthetic Gaussian noisy datasets. The source code is available at https://github.com/it-hao/ADFNet.

연구 동기 및 목표

• 깊은 CNN에서의 특징 스케일링 및 다운샘플링으로 인한 고주파 세부 정보 손실 문제를 해결하기 위해.
• 더 나은 고주파 특징 학습을 위해 커널 생성에 공간적 맥락을 통합함으로써 동적 컨볼루션을 향상시키기 위해.
• 공유된 적응형 동적 커널과 확장 컨볼루션을 활용하여 효율적인 다중 척도 특징 추출을 가능하게 하기 위해.
• 다중 척도 특징의 다차원 융합을 통해 특징 표현을 향상시키기 위해 다차원 특징 통합(MFI) 메커니즘을 사용하기 위해.
• 세밀한 이미지 세부 정보를 유지하면서도 저계산 복잡도를 유지를 하는 경량이며 효율적이고 효과적인 노이즈 제거 네트워크 개발하기 위해.

제안 방법

• 공간적 맥락 추출과 채널 정보 상호작용을 통합하여 최소한의 계산 오버헤드로 동적 커널 생성을 안내하는 공간적으로 향상된 커널 생성(SEKG) 모듈을 제안한다.
• SEKG가 생성한 커널을 사용하여 고주파 특징을 향상시키고 스킵 연결을 통해 저주파 콘텐츠를 유지하는 동적 컨볼루션 블록(DCB)을 도입한다.
• 공유된 적응형 동적 커널과 확장 컨볼루션을 적용하여 파rameter 수를 줄이고 효율적으로 다중 척도 특징을 캡처하는 다중 척도 동적 컨볼루션 블록(MDCB)을 설계한다.
• 동적 컨볼루션에서 깊이 분리형 컨볼루션을 활용하여 효율성을 유지하고 모델 복잡도를 감소시킨다.
• 다중 척도 특징의 교차 차원 종속성을 모델링하여 특징 융합을 향상시키고 표현을 풍부하게 하는 다차원 특징 통합(MFI) 메커니즘을 도입한다.
• MFI를 통합한 DCB와 MDCB 블록을 스택하여 ADFNet 아키텍처를 구성함으로써, 강력한 특징 표현 능력을 갖춘 종단 간 학습을 위한 이미지 노이즈 제거를 가능하게 한다.

실험 결과

연구 질문

• RQ1 공간적 맥락이 동적 커널 생성에 효과적으로 통합되어 이미지 노이즈 제거에서 고주파 특징 학습을 향상시킬 수 있는가?
• RQ2 동적 컨볼루션은 어떻게 고주파 및 저주파 이미지 세부 정보를 동시에 유지하도록 적응시킬 수 있는가?
• RQ3 공유된 적응형 동적 커널과 확장 컨볼루션을 조합하여 저비용 계산으로 효율적인 다중 척도 특징 추출이 가능한가?
• RQ4 다차원 특징 통합 메커니즘이 다중 척도 특징 융합을 향상시키고 전체 표현 능력을 향상시키는가?
• RQ5 제안된 ADFNet은 합성 및 실세계 가우시안 노이즈 데이터셋 모두에서 뛰어난 노이즈 제거 성능을 달성하면서도 저 FLOPs와 낮은 파라미터 수를 유지할 수 있는가?

주요 결과

• ADFNet은 노이즈 수준 σ=50에서 Kodak24 데이터셋에서 PSNR 29.81, BSD68 데이터셋에서 PSNR 28.43을 기록하여 기준 모델들을 능가한다.
• 절단 실험 결과 DCB 또는 MDCB를 제거할 경우 PSNR가 크게 감소함을 확인하여, 이 블록들이 성능에 결정적인 역할을 한다는 것을 입증한다.
• MFI 메커니즘이 특징 융합을 향상시키며, 이를 제거할 경우 모든 벤치마크에서 명확한 PSNR 저하가 관찰됨을 확인하였다.
• SEKG 모듈은 공간적 및 채널 맥락을 통합하여 표준 컨볼루션 대비 더 나은 고주파 세부 정보 복구를 가능하게 하였다.
• 시각화 결과 DCB 및 MDCB가 가장자리와 질감을 효과적으로 강조하는 것으로 확인되었고, MFI는 활성화 값을 조절하여 특징 표현을 향상시켰다.
• 디코더에만 DCB 및 MDCB를 배치하는 것이 인코더에 배치하는 것보다 더 높은 성능을 보였으며, 이는 더 깨끗한 특징 공간에서 더 강력한 커널 생성이 가능하기 때문이다.