[論文レビュー] Blind Deblurring using Deep Learning: A Survey

Siddhant Sahu, Manoj Kumar Lenka+1 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Image Processing Techniques参考文献 18被引用数 15

ひとこと要約

本調査は、深層学習に基づくブレのない復元手法について包括的な分析を提供し、核推定とエンドツーエンドアーキテクチャに分類している。エンドツーエンドモデルは、明示的なブラー核推定を経由せずに鋭い画像を直接予測することで、アーティファクトを低減し、性能を向上させ、特にGOPROデータセットで30.1のPSNRおよび0.932のSSIMを達成し、優れた性能を示している。

ABSTRACT

We inspect all the deep learning based solutions and provide holistic understanding of various architectures that have evolved over the past few years to solve blind deblurring. The introductory work used deep learning to estimate some features of the blur kernel and then moved onto predicting the blur kernel entirely, which converts the problem into non-blind deblurring. The recent state of the art techniques are end to end, i.e., they don't estimate the blur kernel rather try to estimate the latent sharp image directly from the blurred image. The benchmarking PSNR and SSIM values on standard datasets of GOPRO and Kohler using various architectures are also provided.

研究の動機と目的

• 最近数年間で開発されたブレのない画像復元のための深層学習アーキテクチャの包括的理解を提供すること。
• PSNR、SSIM、推論速度の観点から、核推定に基づく手法とエンドツーエンド学習アプローチの性能を比較すること。
• 受容 field の拡大やパラメータ効率性といった、復元ネットワークにおけるアーキテクチャのトレンドを分析すること。
• GOPROおよびKöhlerといった標準データセットを用いて、最先端モデルの定量的指標によるベンチマークを実施すること。
• 核推定の限界と直接的画像復元の利点を強調することで、今後の研究を導くこと。

提案手法

• ブレのない画像復元における深層学習ベースの手法を、主に2つのタイプに分類する：(1) CNNを用いたブラー核推定、(2) 明示的な核予測を伴わないエンドツーエンド画像復元。
• 特徴抽出、核推定、潜在画像回復モジュールを備えたマルチステージアーキテクチャ（例：Schulerら）を分析し、段階間で残差接続を用いる。
• 核推定および復元方程式を効率的に解くために、周波数ドメイン最適化を用いる。式は $\sum_{i}\lVert K*x_{i}-y_{i}\rVert^{2} + \beta_{k}\lVert K\rVert^{2}$ および $\lVert K*L-B\rVert^{2} + \beta_{x}\lVert L\rVert^{2}$ で表される。
• 生成対抗ネットワーク（GAN）ベースの手法（例：Kupynら）における adversarial training をレビューし、WGAN損失を用いて、実際の鋭い画像と生成された画像の分布の乖離を最小化する。
• 生成画像の構造的およびピクセルレベルの忠実度を向上させるために、知覚的損失とL1損失を用いる。
• PSNRとSSIMを主な評価指標として用い、PSNRは $PSNR = \frac{m^2}{MSE}$ で計算され、SSIMは局所的な平均、分散、共分散に基づく。

実験結果

リサーチクエスチョン

• RQ1 標準ベンチマーク上でのエンドツーエンド深層学習モデルと核推定に基づくモデルのPSNRおよびSSIMの違いは何か？
• RQ2 受容フィールドやスカイプ接続などのアーキテクチャ的要素のうち、ブレのない復元における性能向上に最も寄与するのはどれか？
• RQ3 なぜエンドツーエンドモデルは核推定パイプラインよりもアーティファクトを低減するのか？
• RQ4 同じ性能を示すにもかかわらず、異なるネットワークアーキテクチャ間での推論速度の違いは何か？
• RQ5 知覚的損失および敵対的損失は、PSNR/SSIMを上回る視覚的品質の向上にどの程度寄与するか？

主な発見

• エンドツーエンドモデルは、GOPROデータセットで最高のPSNR（30.1）およびSSIM（0.932）を達成し、核推定手法を上回った。
• Köhlerデータセットでは、最高性能を示したモデル（Ramakrishnanら）が27.08のPSNRおよび0.751のSSIMを達成し、合成されたカメラシェイクに対して優れた性能を示した。
• Kupynらのモデルは、GOPROで28.7のPSNRおよび0.958のSSIMを達成し、TaoらよりわずかにPSNRが低くても、高い知覚的品質を示した。
• NahらはGOPROで29.2のPSNRおよび0.916のSSIMを達成したが、推論時間が4.3秒と最も遅く、モデルサイズと速度のトレードオフを示した。
• TaoらはGOPROで30.1のPSNRを達成し、推論時間は1.6秒で、性能と効率の両立が図られた。
• 本研究は、核推定誤差を低減することが復元品質を著しく向上させることを確認し、エンドツーエンド学習の優位性を裏付けた。