[論文レビュー] Learning Deep Gradient Descent Optimization for Image Deconvolution

Dong Gong, Zhen Zhang+4 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Image Processing Techniques参考文献 56被引用数 8

ひとこと要約

本稿では、完全微分可能な勾配降下フレームワークに深層ニューラルネットワークを埋め込むことで、画像のデコンボリューションのための普遍的でパラメータフリーな最適化手法を学習する再帰的勾配降下ネットワーク（RGDN）を提案する。従来の学習ベース手法とは異なり、固定アーキテクチャや既知のノイズレベルを必要とせず、再帰的監視を通じて画像の事前分布と適応的更新ルールを動的に学習する。合成画像および実世界の画像の両方で最先端の性能を達成し、ぼかしやノイズレベルの変動に対してもロバストである。

ABSTRACT

As an integral component of blind image deblurring, non-blind deconvolution removes image blur with a given blur kernel, which is essential but difficult due to the ill-posed nature of the inverse problem. The predominant approach is based on optimization subject to regularization functions that are either manually designed, or learned from examples. Existing learning based methods have shown superior restoration quality but are not practical enough due to their restricted and static model design. They solely focus on learning a prior and require to know the noise level for deconvolution. We address the gap between the optimization-based and learning-based approaches by learning a universal gradient descent optimizer. We propose a Recurrent Gradient Descent Network (RGDN) by systematically incorporating deep neural networks into a fully parameterized gradient descent scheme. A hyper-parameter-free update unit shared across steps is used to generate updates from the current estimates, based on a convolutional neural network. By training on diverse examples, the Recurrent Gradient Descent Network learns an implicit image prior and a universal update rule through recursive supervision. The learned optimizer can be repeatedly used to improve the quality of diverse degenerated observations. The proposed method possesses strong interpretability and high generalization. Extensive experiments on synthetic benchmarks and challenging real-world images demonstrate that the proposed deep optimization method is effective and robust to produce favorable results as well as practical for real-world image deblurring applications.

研究の動機と目的

• 既存の学習ベースのデコンボリューション手法が固定アーキテクチャや既知のノイズレベルを必要としているという制限を解消すること。
• 画像のデコンボリューションにおける最適化ベース手法と学習ベース手法の間のギャップを埋めること。
• エンドツーエンド学習により動的更新ルールを学習する普遍的で再帰的な深層ネットワークを構築すること。
• 再トレーニングやハイパーパramータ調整なしに、多様なぼかしカーネルとノイズレベルにわたるロバストで一般化可能なデブラーを実現すること。

提案手法

• RGDNアーキテクチャは、共有で学習可能な勾配降下ユニットを用いて繰り返し画像推定値を更新する再帰的ニューラルネットワークとして構築される。
• 勾配降下ユニットは、現在の画像推定値とデータ適合項に基づいて更新を計算する畳み込みニューラルネットワーク（CNN）によってパrameter化される。
• 画像のデコンボリューションを正則化された最適化問題として定式化し、それを再帰的構造にアンロールする。この際、CNNが内部的にプロキシマル演算子を学習する。
• 多様なぼやけた画像に対して再帰的監視を用いて学習することで、普遍的な画像事前分布と適応的更新ダイナミクスを学習可能となる。
• 最適化手法はハイパーパrameterフリーであり、推論時にノイズレベルの知識を必要としない。
• ぼかしカーネルを単位行列に置き換えることで、画像のノイズ除去に応用し、他の修復タスクへの汎用性を示している。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、画像のデコンボリューションにおいて多様なぼかしやノイズ条件に一般化可能な普遍的勾配降下最適化手法を学習できるか？
• RQ2 エンドツーエンドで学習された再帰的最適化手法は、静的で手作業で設計された最適化ネットワークと比較して、ロバスト性と性能の面でどのように異なるか？
• RQ3 同一の学習済み最適化手法が、再トレーニングやハイパーパramータ調整なしに、変動するぼかしカーネルとノイズレベルをどれだけ効果的に処理できるか？
• RQ4 提案手法は、アーキテクチャの変更なしに、ノイズ除去などの他の画像修復タスクに拡張可能か？
• RQ5 RGDNが暗黙的に学習する事前分布は、明示的に設計されたまたは学習された事前分布よりも、修復品質と一般化性能の面で優れているか？

主な発見

• RGDNは、Levinらの合成ベンチマークおよびSunらの実世界画像の両方で最先端の性能を達成し、従来の学習ベースおよび古典的最適化手法を上回っている。
• Levinデータセットでは、ノイズレベルσ = 25, 35, 50の画像ノイズ除去において、PSNRがそれぞれ30.94, 29.29, 27.66を達成し、CBM3DやTNRDを上回り、ノイズに無知であるにもかかわらずIRCNNと同等の性能を示している。
• 未知のぼかしカーネルやノイズレベルに対しても良好な一般化性能を示し、推論時に再トレーニングやハイパーパramータ調整を一切必要としない。
• デコンボリューションでは、小規模な画像で30イテレーションを1秒未塔、大規模な画像で6秒未塔で完了し、わずかに遅いもののFDNよりもロバスト性に優れている。
• モデルは強力な解釈可能性と一般化性能を示しており、明示的な正則化設計なしに複雑な画像事前分布を効果的に捉えている。
• ノイズ除去への応用は、ノイズレベルの入力を必要とせず、複数のノイズレベルで競争力のある結果を達成することで、手法の多様性を裏付けている。