[논문 리뷰] Dilated Deep Residual Network for Image Denoising

Tianyang Wang, Mingxuan Sun외 1명|arXiv (Cornell University)|2017. 08. 18.

Image and Signal Denoising Methods참고 문헌 6인용 수 17

한 줄 요약

이 논문은 확장된 수축 필터를 사용하여 수축 컨볼루션을 활용한 가우시안 이미지 노이즈 제거를 위한 확장된 잔차 컨볼루션 신경망을 제안한다. 이는 네트워크 깊이를 늘리지 않으면서도 수용장역을 확장함으로써 더 적은 파라미터와 낮은 계산 비용으로 최신 기술 성능을 달성한다. 이 방법은 잔차 학습과 수용장역 크기를 계산하는 수학적 공식을 활용하여 네트워크 깊이를 늘리지 않고도 효율적인 특징 추출을 가능하게 한다.

ABSTRACT

Variations of deep neural networks such as convolutional neural network (CNN) have been successfully applied to image denoising. The goal is to automatically learn a mapping from a noisy image to a clean image given training data consisting of pairs of noisy and clean images. Most existing CNN models for image denoising have many layers. In such cases, the models involve a large amount of parameters and are computationally expensive to train. In this paper, we develop a dilated residual CNN for Gaussian image denoising. Compared with the recently proposed residual denoiser, our method can achieve comparable performance with less computational cost. Specifically, we enlarge receptive field by adopting dilated convolution in residual network, and the dilation factor is set to a certain value. We utilize appropriate zero padding to make the dimension of the output the same as the input. It has been proven that the expansion of receptive field can boost the CNN performance in image classification, and we further demonstrate that it can also lead to competitive performance for denoising problem. Moreover, we present a formula to calculate receptive field size when dilated convolution is incorporated. Thus, the change of receptive field can be interpreted mathematically. To validate the efficacy of our approach, we conduct extensive experiments for both gray and color image denoising with specific or randomized noise levels. Both of the quantitative measurements and the visual results of denoising are promising comparing with state-of-the-art baselines.

연구 동기 및 목표

• 딥 컨볼루션 신경망 기반 이미지 노이즈 제거에서 계산 비용을 줄이면서도 높은 성능을 유지하는 것.
• 이미지 노이즈 제거 작업에서 수축 컨볼루션의 수용장역 확장을 위한 효과성을 탐구하는 것.
• 수축 컨볼루션 신경망에서 수용장역 크기를 수학적으로 해석 가능한 방법으로 계산하는 것.
• 얕은 네트워크에 수축 컨볼루션을 적용했을 때 DnCNN과 같은 깊은 모델의 성능을 따라잡을 수 있는지 보여주는 것.
• 특정 및 무작위 노이즈 수준에서 GRAY 및 컬러 이미지에 대해 모델을 검증하는 것.

제안 방법

• 모델은 노이즈가 있는 이미지와 정제된 이미지 사이의 잔차 매핑을 학습하는 잔차 학습 프레임워크를 사용한다.
• 수용장역을 확장하기 위해 고정된 확장 인자(예: 2)를 사용하는 수축 컨볼루션을 적용하여 네트워크 깊이를 늘리지 않는다.
• 각 수축 컨볼루션 후 배치 정규화(BN)와 ReLU를 적용하여 학습을 안정화시키고 비선형성을 도입한다.
• 입력과 출력의 공간 차원을 동일하게 유지하기 위해 제로 패딩을 사용하여 잔차 연결과의 호환성을 확보한다.
• 수축 컨볼루션을 사용할 경우 수용장역 크기를 분석적으로 계산할 수 있는 새로운 공식을 유도한다.
• 모델은 쌍체 노이즈-정제 이미지 데이터셋에서 엔드 투 엔드로 훈련되며, GRAY 및 컬러 이미지에 대해 BSD68에서 평가된다.

실험 결과

연구 질문

• RQ1 수축 컨볼루션은 네트워크 깊이를 늘리지 않고도 잔차 컨볼루션 신경망에서 이미지 노이즈 제거 작업에 대해 수용장역을 효과적으로 확장할 수 있는가?
• RQ2 수축 컨볼루션을 적용한 얕은 네트워크가 DnCNN과 같은 깊은 모델과 유사한 노이즈 제거 성능을 달성할 수 있는가?
• RQ3 수용장역 크기가 노이즈 제거 성능에 미치는 영향은 무엇이며, 이는 수축 컨볼루션 신경망에서 수학적으로 정량화할 수 있는가?
• RQ4 제안된 방법은 모델 파라미터와 추론 비용을 줄이면서도 높은 성능을 유지할 수 있는가?
• RQ5 특정 및 무작위 노이즈 수준에서 GRAY 및 컬러 이미지에 대해 모델의 성능은 어떠한가?

주요 결과

• σ=15일 때 BSD68 GRAY 이미지 데이터셋에서 제안된 방법은 PSNR 31.68 dB를 달성하여 BM3D(31.08 dB)를 능가하고 DnCNN(31.73 dB)과 유사한 성능을 보였다.
• σ=25일 때 GRAY 이미지에서 PSNR는 29.18 dB를 기록했으며, 더 얕은 층 수에도 불구하고 DnCNN(29.23 dB)과 유사한 성능을 보였다.
• σ=50일 때 컬러 이미지에서 PSNR는 27.93 dB를 기록했으며, CBM3D(27.37 dB)를 능가하고 DnCNN(28.01 dB)에 가까운 성능을 보였다.
• 더 적은 파라미터와 얕은 아키텍처 덕분에 DnCNN보다 훈련 시간과 그래픽스 메모리 사용량이 크게 줄었다.
• 시각적 결과에서는 대부분의 기준 모델보다 정제된 출력이 더 깨끗한 이미지에 가까웠으며, 미세한 디테일을 더 잘 유지했다.
• 수축 컨볼루션 신경망에서 수용장역 크기를 계산하는 데 사용된 수학적 공식은 네트워크 용량의 정확한 이해와 설계를 가능하게 한다.