[論文レビュー] Image Restoration using Autoencoding Priors

Siavash Bigdeli, Matthias Zwicker|arXiv (Cornell University)|Mar 29, 2017

Advanced Image Processing Techniques被引用数 35

ひとこと要約

本論文は、ノイズ除去オートエンコーダ（DAE）に基づく普遍的な自然画像の事前分布を提案する。ここで、オートエンコーダの誤差の大きさ（平均シフトベクトル）が負の対数尤度事前分布として機能する。復元プロセスにおいて、勾配降下法を用いてこの誤差の大きさを最小化することで、異なるブラー核や拡大率に対して再訓練を必要とせず、1つの事前学習済みDAEを用いて非盲目的なデコンボリューションおよびスーパーレゾリューションで最先端の結果を達成する。

ABSTRACT

We propose to leverage denoising autoencoder networks as priors to address image restoration problems. We build on the key observation that the output of an optimal denoising autoencoder is a local mean of the true data density, and the autoencoder error (the difference between the output and input of the trained autoencoder) is a mean shift vector. We use the magnitude of this mean shift vector, that is, the distance to the local mean, as the negative log likelihood of our natural image prior. For image restoration, we maximize the likelihood using gradient descent by backpropagating the autoencoder error. A key advantage of our approach is that we do not need to train separate networks for different image restoration tasks, such as non-blind deconvolution with different kernels, or super-resolution at different magnification factors. We demonstrate state of the art results for non-blind deconvolution and super-resolution using the same autoencoding prior.

研究の動機と目的

• 過小定義された画像復元問題に対処するため、強力で汎用的な自然画像事前分布を導入すること。
• 非盲目的なデコンボリューションや異なるスケールでのスーパーレゾリューションといった復元タスクにおいて、タスク固有のネットワーク再訓練を不要にするため。
• 特に、DAEの出力が真のデータ密度の局所平均に相当することを特徴とする幾何的性質を活用し、尤度に基づく事前分布を定義すること。
• 1つの学習済み事前分布を用いて、さまざまな画像劣化に対して柔軟かつ勾配ベースの最適化を可能にすること。

提案手法

• 事前学習済みのノイズ除去オートエンコーダ（DAE）を用い、入力とオートエンコーダ出力の差分として平均シフトベクトルを計算する。
• この平均シフトベクトルの大きさを、自然画像分布における局所平均からの距離を表す負の対数尤度事前分布として用いる。
• 復元は、既知の劣化モデルに基づくデータ適合項を満たしつつ、この事前分布エネルギーを最小化する勾配降下法により実行する。
• 最適化は繰り返し、解を自然画像多様体におけるその局所平均に近づけることで、視覚的品質の向上とアーチファクトの低減を実現する。
• 同じ事前学習済みDAEを、非盲目的なデコンボリューション、スーパーレゾリューション、画像インpaintingの複数のタスクに、ファインチューニングなしで適用可能である。
• 劣化タイプの違い（ブラー、ノイズ、欠損画素）に対してもロバストであることが、アブレーションスタディで示された。

実験結果

リサーチクエスチョン

• RQ1 1つの事前学習済みノイズ除去オートエンコーダが、多様な画像復元タスクに普遍的な事前分布として機能できるか？
• RQ2 オートエンコーダの誤差（平均シフトベクトル）の大きさが、自然画像の尤度を効果的にモデル化し、復元品質の向上に寄与するか？
• RQ3 この事前分布を用いた勾配ベースの最適化が、異なるブラー核を有する非盲目的なデコンボリューションにおいて、タスク固有の深層ネットワークを上回る性能を発揮できるか？
• RQ4 再訓練なしで、複数の拡大率におけるスーパーレゾリューションに有効か？
• RQ5 ノイズや欠損画素を含む非一様な劣化に対しても、同じ事前分布が対応可能か？

主な発見

• 非盲目的なデブラーにおいて、Kodakデータセットで29.92 dBという最先端のPSNRを達成し、先行研究（Levin et al.：28.96 dB、Fortunato & Oliveira：29.25 dB）を上回った。
• スーパーレゾリューションにおいて、再訓練なしに複数の拡大率で最先端の結果を達成し、スケール間の一般化能力を示した。
• 異なるノイズレベル（σ = 2.55, 7.65, 12.75）を有する非盲目的なデコンボリューションにおいて、平均PSNRがそれぞれ29.92 dB、28.63 dB、27.37 dBを達成し、既存手法を上回った。
• 70%の画素がマスクされた画像と10%のノイズが加わった画像の復元においても、PSNRが31.05 dBに達し、欠損データおよびノイズに対するロバスト性を示した。
• 本手法は多様な劣化タイプ（ブラー、ノイズ）に適応でき、インpaintingへの応用も可能であり、DAE事前分布の広範な適用可能性を示した。
• 強力な性能を発揮しているものの、純粋な画像ノイズ除去ではまだ最先端に達していないため、適応的カーネル幅やパrameterチューニングの必要性が示唆された。