[논문 리뷰] Image Denoising: The Deep Learning Revolution and Beyond -- A Survey Paper --

Michael Elad, Bahjat Kawar외 1명|arXiv (Cornell University)|2023. 01. 09.

Cell Image Analysis Techniques인용 수 9

한 줄 요약

이 설문은 고전적 베이지안 및 신호 처리 접근에서 현대 딥러닝 기반 방법까지 이미지 디노이징의 발전을 되돌아보고, 디노이저가 이제 역문제 및 이미지 합성에서 더 넓은 역할을 수행하는 방식을 탐구합니다.

ABSTRACT

Image denoising (removal of additive white Gaussian noise from an image) is one of the oldest and most studied problems in image processing. An extensive work over several decades has led to thousands of papers on this subject, and to many well-performing algorithms for this task. Indeed, 10 years ago, these achievements have led some researchers to suspect that "Denoising is Dead", in the sense that all that can be achieved in this domain has already been obtained. However, this turned out to be far from the truth, with the penetration of deep learning (DL) into image processing. The era of DL brought a revolution to image denoising, both by taking the lead in today's ability for noise removal in images, and by broadening the scope of denoising problems being treated. Our paper starts by describing this evolution, highlighting in particular the tension and synergy that exist between classical approaches and modern DL-based alternatives in design of image denoisers. The recent transitions in the field of image denoising go far beyond the ability to design better denoisers. In the 2nd part of this paper we focus on recently discovered abilities and prospects of image denoisers. We expose the possibility of using denoisers to serve other problems, such as regularizing general inverse problems and serving as the prime engine in diffusion-based image synthesis. We also unveil the idea that denoising and other inverse problems might not have a unique solution as common algorithms would have us believe. Instead, we describe constructive ways to produce randomized and diverse high quality results for inverse problems, all fueled by the progress that DL brought to image denoising. This survey paper aims to provide a broad view of the history of image denoising and closely related topics. Our aim is to give a better context to recent discoveries, and to the influence of DL in our domain.

연구 동기 및 목표

• 이미지 디노이징 문제와 그 ill-posed 성질을 정의한다.
• 고전 시절부터 딥러닝 시대로의 prior 및 디노이저의 역사적 발전을 검토한다.
• 딥 러닝이 디노이징 실천과 AI 발전과의 관계를 어떻게 재편하는지 설명한다.
• 디노이저가 역문제를 정규화하기 위한 빌딩 블록 및 이미지 생성/합성에 어떻게 사용되는지 논의한다.

제안 방법

• AWGN 디노이징 및 MMSE/MAP 추정기의 문제 형식을 제시한다.
• 간단한 Regularizer에서 희소성 및 저랭크 모델까지 이미지 프라이어의 진화를 추적한다.
• 고전적 디노이징 기법(BM3D, WNNM 등)과 그 원리를 설명한다.
• DL 기반 디노이징 패러다임: 데이터 기반 학습, 노이즈 모델링, 손실 설계를 개요한다.
• Plug-and-Play 및 Denoising에 의한 Regularization 개념과 확산 모델 기반 합성을 논의한다.

실험 결과

연구 질문

• RQ1 이미지 디노이징에서 고전적 방법에서 학습 기반 접근으로 프라이어 설계가 어떻게 진화해 왔는가?
• RQ2 딥 러닝이 전통적 방법에 비해 디노이저의 성능과 범위에 어떤 영향을 미쳤는가?
• RQ3 다른 역문제에 대한 프라이어 또는 Regularizer로 디노이저를 어떻게 활용할 수 있는가?
• RQ4 무작위적이고 다양한 고감각 품질의 역문제 솔루션 및 이미지 합성을 위한 디노이저의 전망은 어떤가?

주요 결과

• 딥러닝 디노이저가 이제 노이즈 저감에서 선두를 차지하며 다수의 고전 방법을 능가한다.
• 디노이저는 역문제에 대한 강력한 프라이어/Regularizer로 작용하여 새로운 해법 전략을 가능하게 한다.
• 디노이저는 역문제에 대해 무작위적이고 다양한 고정 perceptual 품질의 결과를 가능하게 하여 불확실성을 드러낸다.
• 디노이징 진전은 확산 모델의 발전 및 지각 품질 최적화와 얽혀 있다.
• 본 설문은 디노이싱에서 고전적 프라이어와 AI 기반 설계 간의 시너지와 긴장을 강조한다.