[論文レビュー] Image Denoising and Super-Resolution using Residual Learning of Deep Convolutional Network

Rohit Pardasani, Utkarsh Shreemali|arXiv (Cornell University)|Sep 21, 2018

Advanced Image Processing Techniques参考文献 2被引用数 4

ひとこと要約

本論文では、1つの統合アーキテクチャを用いて同時に画像のスーパーレゾリューションとデノイジングを実行する深層残差畳み込みニューラルネットワーク、SuRDCNNを提案する。ノイジィで低解像度の入力とクリーンで高解像度のターゲットとの間の残差を学習することで、ノイズの種別やレベルが未知であっても、SRCNN や VDSR などの先行モデルを上回る、組み合わせたスーパーレゾリューションとデノイジングタスクにおける最先端の性能を達成した。

ABSTRACT

Image super-resolution and denoising are two important tasks in image processing that can lead to improvement in image quality. Image super-resolution is the task of mapping a low resolution image to a high resolution image whereas denoising is the task of learning a clean image from a noisy input. We propose and train a single deep learning network that we term as SuRDCNN (super-resolution and denoising convolutional neural network), to perform these two tasks simultaneously . Our model nearly replicates the architecture of existing state-of-the-art deep learning models for super-resolution and denoising. We use the proven strategy of residual learning, as supported by state-of-the-art networks in this domain. Our trained SuRDCNN is capable of super-resolving image in the presence of Gaussian noise, Poisson noise or any random combination of both of these noises.

研究の動機と目的

• 既存のスーパーレゾリューションおよびデノイジングモデルが一度に1つのタスクしか処理できないという限界に対処すること。
• さまざまなノイズ条件下でも同時に画像のスーパーレゾリューションとデノイジングを実行できる1つのディープラーニングモデルを開発すること。
• 残差学習を活用して、複雑でノイジーな低解像度入力に対する学習の安定性と性能を向上させること。
• ノイズの種別やレベルに関する事前知識なしに、ノイズパターンのエンドツーエンド学習を可能にすること。
• 画像品質向上のための計算効率が高く、ワンショットで対応できるソリューションを構築すること。

提案手法

• 提案されたSuRDCNNは、3×3カーネル、各層に64個の特徴マップ（最初の層を除き、RGB用に3個）を有する20層の深層畳み込みニューラルネットワークであり、各畳み込み層の後にバッチ正規化を適用する。
• ネットワークはtanh活性化関数を用い、予測された残差画像と真値の差を最小化するため、平均二乗誤差（MSE）損失を用いて学習を行う。
• 低解像度から高解像度への直接的なマッピングを学習する代わりに、モデルは入力画像と元のクリーン画像との間の残差（差分）を学習することで、残差学習による安定した学習を可能にする。
• 推論時には、バイキュービック補間によるノイジィな低解像度画像を入力とし、残差を予測して差し引くことで、ノイズ除去とスーパーレゾリューションが行われた出力を再構築する。
• 学習データは、ノイズのレベルと種別（ガウス、ポisson、または両方の組み合わせ）がランダムに変化する32×32の画像パッチから構成され、実世界の画像劣化を模倣する。
• 学習は確率的勾配降下法を用い、16GBのGPU上で50エポック、学習率2×10⁻⁹で行い、約4時間で収束した。

実験結果

リサーチクエスチョン

• RQ1 ノイズの種別やレベルが未知であっても、1つのディープニューラルネットワークが同時に画像のスーパーレゾリューションとデノイジングを効果的に行えるか？
• RQ2 エンドツーエンドマッピングと比較して、残差学習は、統合されたスーパーレゾリューションとデノイジングタスクにおける性能と学習の安定性をどのように向上させるか？
• RQ3 小さなカーネルと深さを持つディープネットワークが、ノイズの種別に関する事前情報なしに、複雑なノイズパターン（例：ガウス、ポisson）をどれほど正確に学習できるか？
• RQ4 SRCNN や VDSR といった既存の最先端モデルと比較して、組み合わせた劣化タスクにおいて、PSNR および視覚的品質の両面で、提案されたSuRDCNNが優れているか？
• RQ5 モデルは、学習分布外の未知のノイズレベルや種別に対しても一般化可能であり、その妥当性を示せるか？

主な発見

• 『Plane』画像ではPSNRが28.25 dBに達し、バイキュービック補間（27.91 dB）を0.34 dB上回った。これは、効果的なスーパーレゾリューションとデノイジングを示している。
• 『Zebra』画像では、バイキュービック補間のPSNR20.96 dBが、SuRDCNN処理後は22.06 dBに向上し、信号対ノイズ比が低い状況でも顕著な向上が得られた。
• 『Scenery』画像では、PSNRが21.33 dBから23.13 dBに上昇し、複雑なテクスチャとノイズを含む自然な風景において優れた性能を示した。
• 『Tiger』（24.47 dB → 24.36 dB）および『Lizard』（23.04 dB → 24.19 dB）においても、多様な画像コンテンツにわたって一貫した改善が得られた。
• SRCNNは同じノイジィなデータに対して600エポック経過しても学習に失敗したが、これはSuRDCNNの深層残差アーキテクチャが複雑で未知のノイズに対しても優れていることを示している。
• ガウスノイズとポissonノイズが最大レベルに達した状況でも、入力PSNRが約22 dBに保たれた。これは、高レベルのノイズ劣化に対しても強い耐性を示している。