[論文レビュー] Neural Blind Deconvolution Using Deep Priors

Dongwei Ren, Kai Zhang+3 more|arXiv (Cornell University)|Aug 6, 2019

Advanced Image Processing Techniques参考文献 55被引用数 6

ひとこと要約

本稿では、自己教師あり非教師付き畳み込みオートエンコーダーとスキップ接続を用いて、継続的で深い画像の事前分布をモデル化し、出力にソフトマックスを適用する全結合ネットワークを用いてブラー核の事前分布をモデル化する、SelfDeblurと呼ばれるニューラルブラインドデコンボリューション手法を提案する。本手法は、ペア学習データを一切必要とせず、ぼやけた入力画像のみを用いて非制約的ニューラル最適化を実行し、ベンチマークおよび実世界データセットにおいて最先端の定量的・定性的な結果を達成する。

ABSTRACT

Blind deconvolution is a classical yet challenging low-level vision problem with many real-world applications. Traditional maximum a posterior (MAP) based methods rely heavily on fixed and handcrafted priors that certainly are insufficient in characterizing clean images and blur kernels, and usually adopt specially designed alternating minimization to avoid trivial solution. In contrast, existing deep motion deblurring networks learn from massive training images the mapping to clean image or blur kernel, but are limited in handling various complex and large size blur kernels. To connect MAP and deep models, we in this paper present two generative networks for respectively modeling the deep priors of clean image and blur kernel, and propose an unconstrained neural optimization solution to blind deconvolution. In particular, we adopt an asymmetric Autoencoder with skip connections for generating latent clean image, and a fully-connected network (FCN) for generating blur kernel. Moreover, the SoftMax nonlinearity is applied to the output layer of FCN to meet the non-negative and equality constraints. The process of neural optimization can be explained as a kind of "zero-shot" self-supervised learning of the generative networks, and thus our proposed method is dubbed SelfDeblur. Experimental results show that our SelfDeblur can achieve notable quantitative gains as well as more visually plausible deblurring results in comparison to state-of-the-art blind deconvolution methods on benchmark datasets and real-world blurry images. The source code is available at https://github.com/csdwren/SelfDeblur

研究の動機と目的

• 手作業で設計された事前分布に依存し、自明な解に陥りやすい伝統的なMAPベースのブラインドデコンボリューションの限界を克服する。
• 複雑で大規模なブラー核を扱いにくくする深層学習ベースのデブラー手法の制約を克服する。
• 教師なしペアデータを必要とせず、エンドツーエンドの自己教師あり最適化フレームワーク内で、画像の深層事前分布と核の事前分布を統合する。
• ぼやけた入力画像のみを用いて、クリア画像とブラー核の推定を同時に最適化するゼロショット自己教師あり学習アプローチを開発する。
• 専用の深層生成ネットワークを用いて画像と核の両方の事前分布をモデル化することで、ブラインドデコンボリューションにおける視覚的品質と定量的性能を向上させる。

提案手法

• 潜在的なクリア画像 $\mathbf{x}$ の深層事前分布を学習するために、非対称なオートエンコーダーとスキップ接続を用いた画像生成ネットワーク $\mathcal{G}_x$ を採用する。
• ブラー核の事前分布をモデル化するために、全結合ネットワーク $\mathcal{G}_k$ を用い、出力層にソフトマックス非線形関数を適用して非負性および合計が1の制約を強制する。
• 観測されたぼやけた画像と推定されたぼやけた画像の間のデータ適合性損失を最小化することで、ブラインドデコンボリューション問題を非制約的ニューラル最適化問題として定式化する。
• バックプロパゲーションを用いて $\mathcal{G}_x$ と $\mathcal{G}_k$ を同時に最適化することで、教師なしのエンドツーエンド学習を可能にする。
• トレーニング中に推定された核を用いて微分可能なぼやけた画像再構成を実行する。
• 非ブラインドデコンボリューション [20] を後処理ステップとして統合し、結果をさらに向上させる。これを SelfDeblurΔ と表記する。

実験結果

リサーチクエスチョン

• RQ1 教師なしでエンドツーエンドに学習可能な深層学習フレームワークは、ペア学習データを一切必要とせず、クリア画像とブラー核の両方の事前分布を効果的にモデル化できるか？
• RQ2 ソフトマックス出力を持つ全結合ネットワークを用いることで、畳み込みネットワークに比べてブラー核の構造的特性と制約をよりよく捉えることができるか？
• RQ3 提案された非制約的ニューラル最適化戦略は、従来の交互最小化法と比較して自明な解を回避し、収束性を向上させることができるか？
• RQ4 本手法は、合成ベンチマークをはるかに超えて、複雑で大規模なブラー核を有する実世界のぼやけた画像にも一般化可能か？
• RQ5 画像と核の事前分布を同時に最適化することで、SOTA手法と比較して視覚的品質と定量的指標がどの程度向上するか？

主な発見

• SelfDeblurは、Berkeley2000 および Lai et al. [18] ベンチマークでSOTAのPSNRとエラー比を達成し、他の手法を顕著に上回った。
• Lai et al. [18] データセットにおいて、SelfDeblurは、人工物（Manmade）、自然（Natural）、人物（People）、過飽和（Saturated）、テキスト（Text）の5つのカテゴリすべてにおいて、画像の内容品質ですべてのベースラインを上回った。
• 視覚的および定量的分析により、Xu&Jia [48]、Pan-DCP [29] その他の手法と比較して、SelfDeblurがより正確なブラー核を推定していることが確認された。
• 視覚的比較では、特に実世界の画像において、SelfDeblurがより自然なテクスチャを再現し、リバーブアーチファクトをより少なく生成していることが示された。
• SelfDeblurΔ（SelfDeblurに非ブラインドデコンボリューションを統合したバージョン）は、PSNRとエラー比の両面で、他のすべての手法を上回る性能を発揮した。
• 本手法は、ブラー核サイズやノイズレベルの変動に対しても頑健であり、多様な実世界および合成ぼやけた画像において一貫した性能を示した。