[論文レビュー] Deep Mean-Shift Priors for Image Restoration

Siavash Bigdeli, Meiguang Jin+2 more|arXiv (Cornell University)|Sep 12, 2017

Advanced Image Processing Techniques参考文献 25被引用数 67

ひとこと要約

ベイズ的な画像復元フレームワークを提案し、Gaussian-smoothed natural image distributionを prior として学習するために denoising autoencoders を用い、平均シフト勾配を取得してノイズを前提としない復元を可能にし、ノイズに影響されないブレの除去、超解像、デモザイシングを競争力のある結果で実現します。

ABSTRACT

In this paper we introduce a natural image prior that directly represents a Gaussian-smoothed version of the natural image distribution. We include our prior in a formulation of image restoration as a Bayes estimator that also allows us to solve noise-blind image restoration problems. We show that the gradient of our prior corresponds to the mean-shift vector on the natural image distribution. In addition, we learn the mean-shift vector field using denoising autoencoders, and use it in a gradient descent approach to perform Bayes risk minimization. We demonstrate competitive results for noise-blind deblurring, super-resolution, and demosaicing.

研究の動機と目的

• ill-posed degradation の下で prior を用いて画像復元を動機づける。Gaussian-smoothed natural image distribution を表現する prior を導入する。
• 深層平均シフト priors を導入し、その勾配が自然画像分布上の平均シフトベクトルと一致することを示す。
• smoothed density prior を用いた Bayes 推定器を定式化することでノイズを意識しない復元を実現する。
• デブレ、超解像、およびデモザイシング全般で競争力のある結果を示す。

提案手法

• データ適合性項と Gaussian-smoothed prior 項を組み合わせた Bayes-estimator 目的関数を定義する。
• prior を Gaussian-smoothed natural image distribution p'(x) の対数として表現する。
• denoising autoencoders を用いて平均シフトベクトルを介して対数事前分布の勾配を学習し、DAE の残差と prior 勾配を結びつける。
• 目的関数をデータ項と事前項に分割し、Jensen の不等式を適用する界を導出する。
• ノイズ付加を伴う確率的勾配降下法を用いて DAE の過学習に対処し、反復的な復元を行う。
• 非盲・ノイズ適応・カーネル盲のブレ除去、および超解像とデモザイシングに対する勾配降下更新式を提供する。

実験結果

リサーチクエスチョン

• RQ1 Gaussian-smoothed natural image distributions はさまざまな復元タスクの一般的な priors として機能するか？
• RQ2 この priors の勾配を効率的に学習し、Bayes-estimator フレームワークに統合するにはどうすればよいか？
• RQ3 ノイズブラインドな定式化は復元タスク全体で未知の劣化パラメータに対するロバスト性を向上させるか？
• RQ4 得られた復元はブレ除去、超解像、デモザイシングにおいて最先端手法と競合するか？

主な発見

• Gaussian-smoothed natural image prior を用いた Bayes-estimator 形式が導出され、勾配降下法で最適化される。
• DAEs は平均シフトベクトルを介して対数事前分布の勾配を学習でき、実用的な事前勾配を可能にする。
• 本手法はノイズブラインドのブレ除去、超解像、デモザイシングをサポートし、最先端と競合する結果を示す。
• 確率的事前勾配（ノイズ付加付き）は DAE の過学習を緩和し、最適化を改善する。
• 本手法はノイズブラインドのブレ除去、超解像、デモザイシングのベンチマークで競合的な性能を達成し、Titan X (Pascal) での 1 ミリオン画素あたり約 0.2 秒程度の実行時間を報告している。
• 実験は non-blind、noise-adaptive、kernel-blind のブレ除去、Set5/Set14 の超解像、Panasonic データセットのデモザイシングを含む。