[論文レビュー] Deep Learning on Image Denoising: An overview

Chunwei Tian, Lunke Fei+4 more|arXiv (Cornell University)|Dec 31, 2019

Image and Signal Denoising Methods参考文献 260被引用数 27

ひとこと要約

この論文は、加法的ホワイトノイズ、実際のノイズ画像、ブラインドデノイジング、ハイブリッドノイズ画像（例：ノイズあり、ぼやけた、低解像度）の4種類に分類された、画像デノイジングのディープラーニング手法について包括的な概要を提供している。ネットワークアーキテクチャ、トレーニング戦略、最適化技術を分析し、ベンチマークデータセット上で最先端モデルを比較して、実際のノイズに対して教師なしデータが不足していることや、知覚的に正確な評価指標の必要性といった主な課題を特定している。

ABSTRACT

Deep learning techniques have received much attention in the area of image denoising. However, there are substantial differences in the various types of deep learning methods dealing with image denoising. Specifically, discriminative learning based on deep learning can ably address the issue of Gaussian noise. Optimization models based on deep learning are effective in estimating the real noise. However, there has thus far been little related research to summarize the different deep learning techniques for image denoising. In this paper, we offer a comparative study of deep techniques in image denoising. We first classify the deep convolutional neural networks (CNNs) for additive white noisy images; the deep CNNs for real noisy images; the deep CNNs for blind denoising and the deep CNNs for hybrid noisy images, which represents the combination of noisy, blurred and low-resolution images. Then, we analyze the motivations and principles of the different types of deep learning methods. Next, we compare the state-of-the-art methods on public denoising datasets in terms of quantitative and qualitative analysis. Finally, we point out some potential challenges and directions of future research.

研究の動機と目的

• 異なるノイズタイプにわたるディープラーニングベースの画像デノイジング手法を体系的に分類・比較すること。
• さまざまなディープCNNアーキテクチャがデノイジングタスクに用いられる背後にある原理と動機を分析すること。
• 定量的（PSNR、SSIM）および定性的な指標を用いて、公開データセット上で最先端モデルを評価すること。
• 実世界の画像デノイジングにおける継続的な課題、たとえばデータ不足や知覚的評価指標の欠如を特定すること。
• 将来の研究方向性、たとえば自己教師あり学習やリアルタイムデプロイメントに適したモデル圧縮を提案すること。

提案手法

• ディープラーニング手法を4種類に分類：加法的ホワイトノイズ、実際のノイズ画像、ブラインドデノイジング、ハイブリッドノイズ画像。
• フィードフォワードネットワーク、ディープCNN、スキップ接続付きの残差ネットワークを含む主要なネットワークアーキテクチャをレビュー。
• 平均二乗誤差（MSE）損失、最大事後確率（MAP）推定、プリマルデュアル法などの最適化技術を分析。
• フリップ、カラーのジャマーリング、GANベースの合成ノイズ画像生成を含むデータ拡張戦略を評価。
• トランスファーラーニング、ニューラルアーキテクチャサーチ、モデル圧縮（例：プルーニング、グループ畳み込み）を活用して効率性を向上。
• ハイブリッド劣化タスク向けに2段階のカスケードフレームワークを提案。このフレームワークでは、まず超解像化を行い、その後別個のCNNでデノイジングを実行する。

実験結果

リサーチクエスチョン

• RQ1 加法的ホワイトノイズ、実際のノイズ、ハイブリッド劣化を含むさまざまなノイズタイプにおいて、異なるディープラーニングアーキテクチャはどのように性能を発揮するか？
• RQ2 ディープCNNにおけるデノイジング性能を向上させるための主な設計原則と最適化戦略は何か？
• RQ3 PSNR や SSIM といった既存の指標が、なぜデノイズド画像の知覚的品質を捉えられていないのか？
• RQ4 実際のノイズ画像デノイジングにおいて、教師なしデータが不足している問題を解消するために、自己教師あり学習や非教師あり学習をどのように活用できるか？
• RQ5 実世界のデノイジングに向けたディープネットワークのトレーニングにおける主な課題は何か。また、モデル効率をどのように向上できるか？

主な発見

• 残差学習とスキップ接続を用いることで、ディープCNNはガウスノイズデノイジングで最先端の性能を達成している。
• 実際のノイズ画像に対しては、自己教師あり学習や2段階のカスケードネットワーク（例：超解像化の後にデノイジング）を用いる手法が、教師データが存在しない中でも優れた性能を示している。
• データ拡張とGANで生成された合成ノイズ画像により、モデルの汎化性能とロバストネスが向上している。
• プルーニング、小口径のカーネル、グループ畳み込みなどのモデル圧縮技術により、モデルサイズと推論時間は著しく削減されつつ、精度の損失は顕著でない。
• PSNR や SSIM は、細かいディテールを失った過度に滑らかな出力を好む傾向があるため、知覚的品質の評価には不十分である。
• 主な課題は依然として：実際のノイズ画像のトレーニングデータが限られていること、非教師ありタスクにおけるディープネットワークのトレーニングが不安定であること、知覚的に整合性のある評価指標の必要性である。