[논문 리뷰] Designing and Training of A Dual CNN for Image Denoising

Chunwei Tian, Yong Xu외 4명|arXiv (Cornell University)|2020. 07. 08.

Image and Signal Denoising Methods참고 문헌 51인용 수 9

한 줄 요약

이 논문은 합성, 블라인드, 실세계 노이즈 이미지에서 낮은 계산 비용으로 최신 기술 수준의 성능을 달성하기 위해 전역 및 국소 특징을 추출하는 희박한 메커니즘을 갖춘 이중 컨volution 신경망인 DudeNet을 제안한다. 전역 및 국소 특징을 다단계 아키텍처(특징 추출, 향상, 압축, 재구성 블록 포함)를 통해 융합함으로써, 실세계 노이즈 이미지에서의 이미지 정화 성능을 향상시킨다.

ABSTRACT

Deep convolutional neural networks (CNNs) for image denoising have recently attracted increasing research interest. However, plain networks cannot recover fine details for a complex task, such as real noisy images. In this paper, we propsoed a Dual denoising Network (DudeNet) to recover a clean image. Specifically, DudeNet consists of four modules: a feature extraction block, an enhancement block, a compression block, and a reconstruction block. The feature extraction block with a sparse machanism extracts global and local features via two sub-networks. The enhancement block gathers and fuses the global and local features to provide complementary information for the latter network. The compression block refines the extracted information and compresses the network. Finally, the reconstruction block is utilized to reconstruct a denoised image. The DudeNet has the following advantages: (1) The dual networks with a parse mechanism can extract complementary features to enhance the generalized ability of denoiser. (2) Fusing global and local features can extract salient features to recover fine details for complex noisy images. (3) A Small-size filter is used to reduce the complexity of denoiser. Extensive experiments demonstrate the superiority of DudeNet over existing current state-of-the-art denoising methods.

연구 동기 및 목표

• 복잡한 실세계 노이즈 이미지에서 미세한 디테일을 복원하는 데에 평범한 CNN의 한계를 해결하기 위해.
• 수작업으로 설계된 사전 지식에 의존하거나 특정 노이즈 수준에 국한된 이전 방법의 단점을 극복하기 위해.
• 블라인드 정화 및 실세계 노이즈 이미지 복원에서 일반화 능력과 강건성을 향상시키기 위해.
• 작은 크기의 필터와 압축 블록을 통해 계산 복잡도를 낮추면서도 높은 정화 성능을 유지하기 위해.
• 향상된 디테일 복원을 위해 전역 및 국소 특징을 효과적으로 융합하는 통합 아키텍처 개발하기 위해.

제안 방법

• 노이즈가 있는 이미지에서 전역 및 국소 특징을 추출하기 위해 희박한 메커니즘을 갖춘 이중 네트워크 아키텍처를 사용한다.
• 다양한 특징 표현을 캡처하기 위해 두 개의 서브넷을 사용하는 특징 추출 블록(FEB)을 적용한다.
• 전역 및 국소 특징을 융합하여 상호 보완적인 정보를 제공하기 위해 이중 단계 메커니즘을 갖춘 향상 블록(EB)을 적용한다.
• 과도한 특징을 정제하고 모델 복잡도를 낮추기 위해 압축 블록(CB)을 도입한다.
• 잔차 및 노이즈 입력에서 최종 청소된 이미지를 생성하기 위해 재구성 블록(RB)을 사용한다.
• 성능을 손상시키지 않으면서 파rameter 수와 계산 비용을 줄이기 위해 작은 크기의 필터(예: 3×3)를 활용한다.

실험 결과

연구 질문

• RQ1 희박한 특징 추출 기능을 갖춘 이중 CNN은 실세계 노이즈 및 블라인드 정화와 같은 복잡한 정화 작업에서 일반화 능력을 향상시킬 수 있는가?
• RQ2 전역 및 국소 특징을 융합하면 노이즈가 있는 이미지에서 미세한 디테일 복원에 어떻게 기여하는가?
• RQ3 작은 필터와 압축 블록을 사용할 경우 계산 비용은 어느 정도 감소하고, 높은 정화 정확도는 유지되는가?
• RQ4 다양한 노이즈 유형에서 PSNR 및 추론 속도 측면에서 최신 기술 수준의 방법들과 비교해 DudeNet은 어떻게 성능을 내는가?
• RQ5 제안된 아키텍처는 합성, 블라인드, 실세계 노이즈 이미지 데이터셋 간에 일반화 가능한가?

주요 결과

• Canon 5D ISO=3200 실세계 노이즈 이미지에서 DudeNet은 36.66 dB의 PSNR를 기록하여 DnCNN보다 1.86 dB 높다.
• CBSD68 데이터셋에서 DudeNet-B는 모든 노이즈 수준(15–75)에서 경쟁적인 성능을 기록했으며, PSNR 값이 항상 최신 기술 수준에 근접하거나 이를 초월했다.
• 1024×1024 이미지에 대해 DudeNet은 GPU에서 1.246초 내에 실행되며, RED30(15.77초) 및 MemNet(14.69초)보다 훨씬 빠르다.
• Kodak24에서 ISO=3200일 때 DudeNet-B는 36.70 dB의 PSNR를 기록하여 DnCNN(34.87 dB)과 CSF(35.16 dB)를 모두 초월했다.
• 모델은 블라인드 정화에서 강건성을 보이며, 0에서 55까지 다양한 노이즈 수준에서 일관된 성능을 유지했다.
• 작은 필터와 압축 블록의 사용은 계산 비용을 낮추면서도 높은 시각적 품질과 정확도를 유지하는 데 기여했다.