[論文レビュー] Image Denoising: The Deep Learning Revolution and Beyond -- A Survey Paper --

Michael Elad, Bahjat Kawar+1 more|arXiv (Cornell University)|Jan 9, 2023

Cell Image Analysis Techniques被引用数 9

ひとこと要約

本調査は、古典的なベイズ推論と信号処理アプローチから現代の深層学習ベースの手法へと画像ノイズ除去の進化を概説し、デノイザーが現在、逆問題や画像合成においてより広い役割を果たす方法を探る。

ABSTRACT

Image denoising (removal of additive white Gaussian noise from an image) is one of the oldest and most studied problems in image processing. An extensive work over several decades has led to thousands of papers on this subject, and to many well-performing algorithms for this task. Indeed, 10 years ago, these achievements have led some researchers to suspect that "Denoising is Dead", in the sense that all that can be achieved in this domain has already been obtained. However, this turned out to be far from the truth, with the penetration of deep learning (DL) into image processing. The era of DL brought a revolution to image denoising, both by taking the lead in today's ability for noise removal in images, and by broadening the scope of denoising problems being treated. Our paper starts by describing this evolution, highlighting in particular the tension and synergy that exist between classical approaches and modern DL-based alternatives in design of image denoisers. The recent transitions in the field of image denoising go far beyond the ability to design better denoisers. In the 2nd part of this paper we focus on recently discovered abilities and prospects of image denoisers. We expose the possibility of using denoisers to serve other problems, such as regularizing general inverse problems and serving as the prime engine in diffusion-based image synthesis. We also unveil the idea that denoising and other inverse problems might not have a unique solution as common algorithms would have us believe. Instead, we describe constructive ways to produce randomized and diverse high quality results for inverse problems, all fueled by the progress that DL brought to image denoising. This survey paper aims to provide a broad view of the history of image denoising and closely related topics. Our aim is to give a better context to recent discoveries, and to the influence of DL in our domain.

研究の動機と目的

• 画像ノイズ除去問題を定義し、その不適定性を説明する。
• 古典時代から深層学習時代に至る priors（事前情報）と denoisers の歴史的展開を概観する。
• 深層学習がノイズ除去の実践をどのように再形成し、AIの進展とどのように関連するかを説明する。
• デノイザーが逆問題の正則化のビルディングブロックとして、また画像生成・合成のための基盤としてどのように用いられるかを論じる。

提案手法

• AWGNノイズ除去とMMSE/MAP推定量の問題定式化を提示する。
• 単純な正則化項からスパース性・低ランクモデルまでの画像 priors の進化をたどる。
• 古典的なノイズ除去手法（例：BM3D、WNNM）とその原理を説明する。
• データ駆動型の訓練、ノイズモデリング、損失設計など、DLベースのノイズ除去のパラダイムを概説する。
• Plug-and-Play（P&P）とDenoisingによる正則化の概念、及び拡散モデルに基づく合成について論じる。

実験結果

リサーチクエスチョン

• RQ1 画像ノイズ除去における priors の設計は、古典的手法から学習ベースのアプローチへどのように進化したか？
• RQ2 ディープラーニングは従来の手法に比べて、デノイザーの性能と適用範囲にどのような影響を与えたか？
• RQ3 デノイザーを他の逆問題の priors または正則化項として活用するにはどうすればよいか？
• RQ4 ランダム化され多様で高い知覚品質を持つ逆問題解決と画像合成のために、デノイザーはどんな展望を提供するか？

主な発見

• 深層学習デノイザーはノイズ抑制で現在主導しており、多くの古典的手法を上回る。
• デノイザーは逆問題における強力な priors/正則化項として機能し、新しい解法戦略を可能にする。
• デノイザーは逆問題に対して、ランダム化された多様で高い知覚品質の解を可能にし、不確実性を可視化する。
• デノイニングの進歩は、拡散モデルの進化と知覚品質最適化の進展と絡み合う。
• 本調査は、デノイニングにおける古典的 priors と AI ベースの設計との相乗と緊張を浮き彫りにする。