[論文レビュー] Deep Learning for Image Denoising: A Survey

Chunwei Tian, Yong Xu+2 more|arXiv (Cornell University)|Oct 11, 2018

Image and Signal Denoising Methods参考文献 30被引用数 9

ひとこと要約

本サーベイは、加法性白色ガウスノイズ（AWGN）を除去するための深層学習手法について包括的なレビューを提供している。主な焦点は、DnCNN、FFDNet、IRCNNといった畳み込みニューラルネットワーク（CNN）であり、これらはエンドツーエンドのマッピングを学習する。深層学習手法は最先端の性能を達成しており、特にDnCNNはBSD68データセットにおいてσ = 25の条件下でPSNR 29.23 dBを達成し、BM3D（28.57 dB）などの従来手法を上回っている。

ABSTRACT

Since the proposal of big data analysis and Graphic Processing Unit (GPU), the deep learning technology has received a great deal of attention and has been widely applied in the field of imaging processing. In this paper, we have an aim to completely review and summarize the deep learning technologies for image denoising proposed in recent years. Morever, we systematically analyze the conventional machine learning methods for image denoising. Finally, we point out some research directions for the deep learning technologies in image denoising.

研究の動機と目的

• 近年の画像ノイズ除去のための深層学習手法を体系的かつ要約する。
• 画像ノイズ除去における深層学習アプローチと従来の機械学習手法を比較する。
• 現在の深層学習ベースのノイズ除去における主な課題、例えば実世界のノイズへの一般化能力の制限を特定する。
• 低レベルビジョンタスクにおける耐性と多様性を向上させるための今後の研究方向性を提案する。

提案手法

• エンドツーエンドの深層ニューラルネットワーク、特にCNNを用いて、ノイズあり画像から綺麗な画像への直接的マッピングを学習する。
• DnCNNのようなアーキテクチャで残差学習とバッチ正則化（BN）を採用し、学習の安定性と収束速度を向上させる。
• FFDNetではノイズレベルマップの入力を組み込むことで、複数のノイズレベルにわたるブラインドノイズ除去を可能にする。
• IRCNNやDDRNにおける空洞畳み込みとスキップ接続を統合することで、感受 field を拡大し、詳細を保持する。
• 最適化に基づく事前知識と深層学習を統合（例：IRCNN）することで、逆問題を安定して解ける。
• GPU加速と大規模データを活用して、深層ネットワークの効率的学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの画像ノイズ除去手法は、BM3D や WNNM といった古典的手法と比べて、性能でどのように異なるか？
• RQ2 残差学習や空洞畳み込みなどのアーキテクチャ的革新は、どのように最先端のノイズ除去性能を実現しているか？
• RQ3 AWGNに対して優れた性能を示すにもかかわらず、なぜ現在の深層学習モデルは実世界のノイズ（例：低照度、乗法的ノイズ）に対して一般化に失敗するのか？
• RQ4 1つの深層学習モデルが、ノイズ除去、超解像、ぼかし除去といった複数の低レベルビジョンタスクに一般化可能か？
• RQ5 ブラインドノイズや多様なノイズタイプに対応するための深層学習の展開において、主な制限事項と未解決の課題は何か？

主な発見

• DnCNNは、BSD68データセットにおいてσ = 25の条件下でPSNR 29.23 dBを達成し、BM3D（28.57 dB）や他の古典的手法を上回っている。
• FFDNetはPSNRと速度の両面でCBM3Dを上回り、BSD68で29.19 dBを記録。ノイズレベルマップ入力を通じて、さまざまなノイズレベルに強い。
• IRCNNは最適化に基づく事前知識とCNNを統合し、29.15 dBのPSNRを達成。1つのモデルで複数タスク学習が可能。
• 残差学習とバッチ正則化の使用は、深層ノイズ除去ネットワークにおける学習の安定性と収束速度を顕著に向上させる。
• AWGNに対して優れた性能を示すにもかかわらず、現在のモデルは低照度や乗法的ノイズといった実世界のノイズに対して一般化に失敗している。
• 1つのモデルで複数の低レベルビジョンタスク（ノイズ除去、超解像、ぼかし除去）を処理できる統合アーキテクチャの開発が、今後急務である。