[논문 리뷰] Deep Learning for Image Denoising: A Survey

Chunwei Tian, Yong Xu외 2명|arXiv (Cornell University)|2018. 10. 11.

Image and Signal Denoising Methods참고 문헌 30인용 수 9

한 줄 요약

이 종합 검토는 복소 신경망(CNN)인 DnCNN, FFDNet, IRCNN와 같은 딥러닝 기법을 중심으로 추가 백색 가우시안 노이즈(AWGN)를 제거하기 위한 엔드 투 엔드 매핑을 학습하는 기술에 대해 포괄적인 검토를 제공한다. 이는 딥러닝 기법이 최신 기술 성능을 달성하며, DnCNN이 σ = 25일 때 BSD68 데이터셋에서 PSNR 29.23 dB를 기록하여 기존의 BM3D(28.57 dB)와 같은 전통적 방법을 능가함을 보여준다.

ABSTRACT

Since the proposal of big data analysis and Graphic Processing Unit (GPU), the deep learning technology has received a great deal of attention and has been widely applied in the field of imaging processing. In this paper, we have an aim to completely review and summarize the deep learning technologies for image denoising proposed in recent years. Morever, we systematically analyze the conventional machine learning methods for image denoising. Finally, we point out some research directions for the deep learning technologies in image denoising.

연구 동기 및 목표

• 최근의 딥러닝 기반 이미지 노이즈 제거 기법을 체계적으로 검토하고 요약하는 것.
• 이미지 노이즈 제거를 위한 딥러닝 접근법과 기존의 머신러닝 기법을 비교하는 것.
• 현재 딥러닝 기반 노이즈 제거에서의 주요 과제, 예를 들어 실제 노이즈에 대한 일반화 능력의 제한을 규명하는 것.
• 저수준 시각 작업에서의 강인성과 다양성을 향상시키기 위한 향후 연구 방향을 제안하는 것.

제안 방법

• 노이즈가 있는 이미지에서 깨끗한 이미지로의 직접 매핑을 학습하기 위해 엔드 투 엔드 딥 네트워크, 특히 CNN을 활용한다.
• DnCNN과 같은 아키텍처에서 잔차 학습과 배치 정규화(BN)를 적용하여 학습 안정성과 수렴 속도를 향상시킨다.
• FFDNet에서는 노이즈 수준 맵 입력을 통해 다양한 노이즈 수준에서의 블라인드 노이즈 제거를 가능하게 한다.
• IRCNN 및 DDRN과 같은 아키텍처에서 확장된的感受장과 세부 정보 유지에 기여하는 확장 컨볼루션과 스킵 연결을 통합한다.
• 최적화 기반의 사전 지식과 딥러닝을 융합함으로써(예: IRCNN) 역문제를 강인하게 해결한다.
• GPU 가속과 대규모 데이터를 활용하여 깊은 네트워크를 효율적으로 학습시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 이미지 노이즈 제거 기법은 BM3D와 WNNM과 같은 전통적 방법에 비해 성능 면에서 어떻게 비교되는가?
• RQ2 잔차 학습, 확장 컨볼루션 등 아키텍처 혁신은 어떻게 최신 기술 성능을 달성하는가?
• RQ3 왜 현재의 딥러닝 모델들은 AWGN에서 강력한 성능을 보이지만, 저조도 또는 곱셈 노이즈와 같은 실제 노이즈에는 일반화에 실패하는가?
• RQ4 단일 딥러닝 모델이 노이즈 제거, 초해상도, 흐림 제거와 같은 다수의 저수준 시각 작업에 일반화될 수 있는가?
• RQ5 블라인드 및 다양한 노이즈 유형에 대한 딥러닝 도입에서의 주요 제한 사항과 열린 과제는 무엇인가?

주요 결과

• DnCNN는 σ = 25일 때 BSD68 데이터셋에서 PSNR 29.23 dB를 기록하여 BM3D(28.57 dB) 및 기타 전통적 방법을 능가한다.
• FFDNet은 PSNR와 속도 면에서 CBM3D를 초월하여 BSD68에서 29.19 dB의 성능을 기록하며, 노이즈 수준 맵 입력 덕분에 다양한 노이즈 수준에 대해 강인함을 입증한다.
• IRCNN는 최적화 기반 사전 지식과 CNN을 융합하여 29.15 dB의 PSNR를 달성하고 단일 모델로 다중 작업 학습을 가능하게 한다.
• 잔차 학습과 배치 정규화의 사용은 깊은 노이즈 제거 네트워크에서 학습 안정성과 수렴 속도를 크게 향상시킨다.
• AWGN에 대해서는 강력한 성능를 보이지만, 현재의 모델들은 저조도 또는 곱셈 노이즈와 같은 실제 노이즈에 대해 일반화에 실패한다.
• 단일 모델로 다수의 저수준 시각 작업(노이즈 제거, 초해상도, 흐림 제거)을 처리할 수 있는 통합 아키텍처의 개발이 여전히 절실한 필요성이 있다.