[논문 리뷰] Image Denoising and Super-Resolution using Residual Learning of Deep Convolutional Network

Rohit Pardasani, Utkarsh Shreemali|arXiv (Cornell University)|2018. 09. 21.

Advanced Image Processing Techniques참고 문헌 2인용 수 4

한 줄 요약

이 논문은 단일 통합 아키텍처를 사용하여 이미지 초해상도 복원과 노이즈 제거를 동시에 수행하는 딥 리스크 컨volution 신경망인 SuRDCNN을 제안한다. 노이즈가 있는 저해상도 입력과 청소년 고해상도 타겟 간의 잔차를 학습함으로써, 노이즈 유형과 수준이 알려지지 않은 경우조차도 병합된 초해상도 복원 및 노이즈 제거 작업에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 기존 모델인 SRCNN과 VDSR보다 PSNR와 시각적 품질 측면에서 모두 뛰어나다.

ABSTRACT

Image super-resolution and denoising are two important tasks in image processing that can lead to improvement in image quality. Image super-resolution is the task of mapping a low resolution image to a high resolution image whereas denoising is the task of learning a clean image from a noisy input. We propose and train a single deep learning network that we term as SuRDCNN (super-resolution and denoising convolutional neural network), to perform these two tasks simultaneously . Our model nearly replicates the architecture of existing state-of-the-art deep learning models for super-resolution and denoising. We use the proven strategy of residual learning, as supported by state-of-the-art networks in this domain. Our trained SuRDCNN is capable of super-resolving image in the presence of Gaussian noise, Poisson noise or any random combination of both of these noises.

연구 동기 및 목표

• 기존 초해상도 복원 및 노이즈 제거 모델이 한 번에 하나의 작업만 처리하는 데서 비롯되는 한계를 해결하기 위해.
• 다양한 노이즈 조건 하에서 동시에 이미지 초해상도 복원과 노이즈 제거를 수행할 수 있는 단일 딥 러닝 모델을 개발하기 위해.
• 복잡한 노이즈가 있는 저해상도 입력에서 훈련 안정성과 성능을 향상시키기 위해 잔차 학습을 활용하기 위해.
• 노이즈 유형이나 수준에 대한 사전 지식 없이도 노이즈 패턴을 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 이미지 품질 향상에 대해 계산 효율적이며 단일 스텝 솔루션을 제공하기 위해.

제안 방법

• 제안된 SuRDCNN은 3x3 커널, 각 레이어당 64개의 특징 맵(첫 번째 레이어는 RGB용 3개)을 사용하는 20층의 딥 컨volution 신경망이며, 각 컨볼루션 레이어 후에 배치 정규화를 적용한다.
• 신경망은 tanh 활성화 함수를 사용하고, 예측된 잔차 이미지와 진짜 잔차 이미지 간의 차이를 최소화하기 위해 평균 제곱오차(MSE) 손실을 사용하여 훈련한다.
• 저해상도에서 고해상도로의 직접적인 매핑을 학습하는 대신, 입력 이미지와 원본 청소년 이미지 간의 잔차(차이)를 학습함으로써 잔차 학습을 통한 안정적인 훈련이 가능해진다.
• 추론 과정에서 모델은 이중선형 보간된 노이즈가 있는 저해상도 이미지를 입력으로 받아 잔차를 예측하고, 이를 빼서 노이즈 제거된 초해상도 출력을 재구성한다.
• 훈련 데이터는 노이즈 수준과 유형(Gaussian, Poisson, 또는 병합된 유형)이 랜덤으로 변화하는 32x32 이미지 패치로 구성되며, 실제 세계의 이미지 열화를 시뮬레이션한다.
• 모델는 16GB GPU에서 50 에포크 동안 학습률 2×10⁻⁹로 확률적 경사 하강법을 사용하여 훈련되며, 약 4시간 만에 수렴한다.

실험 결과

연구 질문

• RQ1 노이즈 유형과 수준이 알려지지 않은 경우에도 단일 딥 신경망이 동시에 이미지 초해상도 복원과 노이즈 제거를 효과적으로 수행할 수 있는가?
• RQ2 잔차 학습은 종단 간 매핑에 비해 병합된 초해상도 복원 및 노이즈 제거 작업에서 성능과 훈련 안정성에 어떻게 기여하는가?
• RQ3 소형 커널과 깊이를 가진 딥 네트워크가 노이즈 정보 없이도 복잡한 노이즈 패턴(Gaussian, Poisson 등)을 얼마나 잘 학습할 수 있는가?
• RQ4 제안된 SuRDCNN은 병합된 열화 작업에서 기존 최신 기술 수준의 모델인 SRCNN과 VDSR에 비해 PSNR와 시각적 품질 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 모델은 훈련 분포 외부의 새로운 노이즈 수준과 유형으로 일반화할 수 있는가? 즉, 훈련된 이후에도 강건성을 유지하는가?

주요 결과

• 'Plane' 이미지에서 SuRDCNN은 PSNR 28.25 dB를 기록하여 이중선형 보간(27.91 dB)보다 0.34 dB 향상되어 효과적인 초해상도 복원과 노이즈 제거를 입증했다.
• 'Zebra' 이미지에서 PSNR는 이중선형 보간의 20.96 dB에서 SuRDCNN 처리 후 22.06 dB로 향상되어 낮은 신호 대 노이즈 비율에서도 뚜렷한 향상이 있었다.
• 'Scenery' 이미지의 경우 PSNR는 21.33 dB에서 23.13 dB로 상승하여 복잡한 질감과 노이즈가 있는 자연 풍경에 대해서도 강력한 성능을 보였다.
• 모델은 'Tiger'(24.47 dB → 24.36 dB)와 'Lizard'(23.04 dB → 24.19 dB) 이미지에서 일관된 향상을 보이며 다양한 이미지 콘텐츠에 걸쳐 높은 성능를 유지했다.
• SRCNN은 동일한 노이즈 데이터에서 600 에포크 동안 학습해도 성능을 향상시키지 못했으며, 이는 SuRDCNN의 깊은 잔차 아키텍처가 복잡하고 알려지지 않은 노이즈를 처리하는 데서 뛰어난 우수성을 보임을 시사한다.
• 최대 수준의 가우시안 및 포아송 노이즈가 동시에 존재할 경우 모델의 최소 입력 PSNR는 약 22 dB를 기록하여 고노이즈 열화에 대한 강건성을 입증했다.