[논문 리뷰] Deep Learning on Image Denoising: An overview

Chunwei Tian, Lunke Fei외 4명|arXiv (Cornell University)|2019. 12. 31.

Image and Signal Denoising Methods참고 문헌 260인용 수 27

한 줄 요약

이 논문은 이미지 복소화를 위한 딥러닝 기법에 대한 종합적인 개요를 제공하며, 가우시안 노이즈, 실제 노이즈가 있는 이미지, 블라인드 복소화, 하이브리드 노이즈 이미지(예: 노이즈, 블러, 저해상도) 등 다양한 노이즈 유형으로 분류한다. 네트워크 아키텍처, 훈련 전략, 최적화 기법을 분석하고, 벤치마크 데이터셋에서 최신 모델들을 비교하며, 실제 노이즈에 대한 지도 없는 학습과 인지적 정확도를 갖춘 평가 지표가 부족한 등의 주요 과제를 규명한다.

ABSTRACT

Deep learning techniques have received much attention in the area of image denoising. However, there are substantial differences in the various types of deep learning methods dealing with image denoising. Specifically, discriminative learning based on deep learning can ably address the issue of Gaussian noise. Optimization models based on deep learning are effective in estimating the real noise. However, there has thus far been little related research to summarize the different deep learning techniques for image denoising. In this paper, we offer a comparative study of deep techniques in image denoising. We first classify the deep convolutional neural networks (CNNs) for additive white noisy images; the deep CNNs for real noisy images; the deep CNNs for blind denoising and the deep CNNs for hybrid noisy images, which represents the combination of noisy, blurred and low-resolution images. Then, we analyze the motivations and principles of the different types of deep learning methods. Next, we compare the state-of-the-art methods on public denoising datasets in terms of quantitative and qualitative analysis. Finally, we point out some potential challenges and directions of future research.

연구 동기 및 목표

• 다양한 노이즈 유형에 걸쳐 딥러닝 기반 이미지 복소화 방법을 체계적으로 분류하고 비교하는 것.
• 다양한 딥 컨볼루션 신경망 아키텍처가 복소화 작업에 사용되는 근본 원리와 동기를 분석하는 것.
• 정량적(PSNR, SSIM) 및 정성적 지표를 사용하여 공개 데이터셋에서 최신 모델을 평가하는 것.
• 실제 환경에서의 이미지 복소화에 지속적으로 존재하는 과제, 예를 들어 데이터 부족과 인지적 평가 지표 부족을 규명하는 것.
• 향후 연구 방향, 예를 들어 실시간 배포를 위한 자기지도 학습 및 모델 압축 기법 제안하기

제안 방법

• 딥러닝 기반 방법을 네 가지 유형으로 분류: 덧셈성 백색 노이즈, 실제 노이즈가 있는 이미지, 블라인드 복소화, 하이브리드 노이즈 이미지.
• 피드포워드 네트워크, 딥 컨볼루션 신경망, 스케일 연결이 있는 잔차 네트워크를 포함한 주요 네트워크 아키텍처 검토.
• 평균 제곱 오차(MSE) 손실, 최대 사후 확률(MAP) 추정, 원-이중 방법 등을 포함한 최적화 기법 분석.
• 반전, 색상 왜곡, GAN 기반 합성 노이즈 이미지 생성을 포함한 데이터 증강 전략 평가.
• 전이 학습, 신경망 아키텍처 탐색, 모델 압축(예: 프루닝, 그룹 컨볼루션)을 통한 효율성 향상 탐색.
• 하이브리드 열화 작업을 위한 두 단계 캐스케이드 프레임워크 제안: 복소화 이전에 초해상도 복원을 수행한 후 별도의 CNN을 사용해 노이즈 제거

실험 결과

연구 질문

• RQ1 다양한 노이즈 유형(예: 덧셈성 백색 노이즈, 실제 노이즈, 하이브리드 열화)에서 다양한 딥러닝 아키텍처의 성능은 어떻게 다른가?
• RQ2 딥 컨볼루션 신경망에서 복소화 성능을 향상시키는 데 기여하는 주요 설계 원칙과 최적화 전략은 무엇인가?
• RQ3 왜 기존 평가 지표인 PSNR와 SSIM은 복소화된 이미지의 인지적 품질을 제대로 반영하지 못하는가?
• RQ4 실제 노이즈가 있는 이미지 복소화에서 지도 없는 학습 또는 자기지도 학습을 어떻게 활용하여 지도 없는 학습 문제를 해결할 수 있는가?
• RQ5 실제 환경의 복소화 작업을 위한 딥 네트워크 훈련에서 주요 과제는 무엇이며, 어떻게 모델 효율성을 향상시킬 수 있는가?

주요 결과

• 잔차 학습과 스케일 연결 기반 딥 컨볼루션 신경망은 가우시안 노이즈 복소화에서 최신 기술 성능을 달성한다.
• 실제 노이즈가 있는 이미지의 경우, 자기지도 학습 또는 두 단계 캐스케이드 네트워크(예: 초해상도 복원 후 복소화)를 사용하는 방법이 지도 없는 학습 조건에서도 뛰어난 성능을 보인다.
• 데이터 증강 및 GAN 기반 합성 노이즈 이미지 생성은 모델의 일반화 능력과 강인성을 향상시킨다.
• 프루닝, 작은 커널, 그룹 컨볼루션 등의 모델 압축 기법은 정확도 손실 없이 모델 크기와 추론 시간을 줄인다.
• PSNR와 SSIM은 인지적 품질 평가에 부적합하며, 종종 세밀한 디테일가 부족한 너무나 매끄러운 출력을 선호하는 경향이 있다.
• 주요 과제는 여전히: 실제 노이즈 훈련 데이터 부족, 지도 없는 작업에서의 딥 네트워크 훈련 불안정성, 인지적으로 일치하는 평가 지표가 부족함.