[論文レビュー] Learning Fully Convolutional Networks for Iterative Non-blind Deconvolution

Jiawei Zhang, Jinshan Pan+3 more|arXiv (Cornell University)|Nov 20, 2016

Image and Signal Denoising Methods参考文献 29被引用数 6

ひとこと要約

本稿では、勾配ノイズ除去と画像のデコンボリューションに分解することで、反復的で盲目的でないデコンボリューションのための完全畳み込みニューラルネットワーク（FCNN）を提案する。勾配領域におけるノイズ除去を学習するFCNNを訓練し、アーティファクト抑制のための頑健なL1損失を用いることで、詳細の保存性と効率性を向上させた反復的復元が可能となり、ベンチマークデータセットにおいて品質と速度の両面で最先端の手法を上回る。

ABSTRACT

In this paper, we propose a fully convolutional networks for iterative non-blind deconvolution We decompose the non-blind deconvolution problem into image denoising and image deconvolution. We train a FCNN to remove noises in the gradient domain and use the learned gradients to guide the image deconvolution step. In contrast to the existing deep neural network based methods, we iteratively deconvolve the blurred images in a multi-stage framework. The proposed method is able to learn an adaptive image prior, which keeps both local (details) and global (structures) information. Both quantitative and qualitative evaluations on benchmark datasets demonstrate that the proposed method performs favorably against state-of-the-art algorithms in terms of quality and speed.

研究の動機と目的

• 局所的細部とグローバル構造の両方を保存する適応的画像事前分布を学習することで、非盲目的デコンボリューションの不適切な性質に対処すること。
• 異なるブラー核に対して再訓練が必要な従来のディープラーニング手法の制限を克服すること。
• 完全畳み込みアーキテクチャを用いて、勾配ノイズ除去と反復的デコンボリューションに問題を分解することで、デブラーイング性能を向上させること。
• 勾配領域における頑健なL1損失最適化により、リリングアーティファクトと滑らかな領域のノイズを低減すること。
• GPU加速された完全畳み込みネットワークを活用することで、リアルタイム推論を実現する高効率性を達成すること。

提案手法

• 本手法は非盲目的デコンボリューションを2段階に分解する：完全畳み込みネットワーク（FCNN）による勾配ノイズ除去と、学習されたデコンボリューションモジュールを用いた反復的画像デコンボリューション。
• リリングアーティファクトと外れ値をL2損失よりも効果的に抑制できるよう、FCNNの勾配ノイズ除去に頑健なL1損失関数を用いる。
• FCNNをマルチステージアーキテクチャに級列接続することで、反復的デブラーイングを実現し、徐々に復元画像を精錬する。
• 画像の勾配を勾配領域でノイズ除去し、その結果得られるクリアな勾配をデコンボリューションプロセスをガイドすることで、微細なディテールを保存する。
• デコンボリューションモジュール内のハイパーパrameterをエンドツーエンド最適化することで、復元品質を向上させる。
• ネットワークは一度の訓練で完了し、再訓練なしにさまざまなブラー核に一般化可能であり、実用的デプロイメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みネットワークは、非盲目的デコンボリューションにおいて、局所的細部とグローバル構造の両方を保存する適応的画像事前分布を効果的に学習できるか？
• RQ2 マルチステージFCNNアーキテクチャを用いた反復的精錬は、単一ステージ手法と比較してデブラーイング品質を向上させるか？
• RQ3 勾配領域における頑健なL1損失は、標準的なL2損失よりもリリングアーティファクトとノイズを効果的に抑制できるか？
• RQ4 本手法は、核固有のディープラーニングアプローチとは異なり、再訓練なしにさまざまなブラー核に一般化できるか？
• RQ5 ベンチマークデータセットにおいて、本手法は最先端の非盲目的デコンボリューションアルゴリズムと比較して、速度と品質の両面で優れているか？

主な発見

• 1%のノイズを伴うベンチマークデータセットにおいて、本手法はPSNR 32.82、SSIM 0.90を達成し、HL [12]（31.57/0.87）とMLP [25]（31.82/0.86）を上回った。
• 3%のノイズでは、PSNR 29.12、SSIM 0.79を達成し、CSF [22]（28.43/0.78）とMLP [25]（26.26/0.60）を顕著に上回った。
• 5%のノイズでは、PSNR 27.66、SSIM 0.74を達成し、HL [12]（25.85/0.67）とMLP [25]（24.62/0.51）を上回った。
• 3反復のFCNNは、K40 GPU上で1536×1200の画像に対して0.06秒で実行され、EPLL（953.52秒）とHL（2.11秒）よりも顕著に高速であった。
• 視覚的結果では、EPLL、CSF、HLと比較して、ノイズのある領域や滑らかな領域においても微細なテクスチャをよりよく保存し、アーティファクトを低減していることが示された。
• 実世界の曇り画像（Pan [16] から推定された核を用いて）に対しても、本手法はEPLLと同等の結果を出し、HL や CSF よりも優れた結果を出した。