[論文レビュー] A Survey on Image Deblurring

ChuMiao Li|arXiv (Cornell University)|Jan 31, 2022

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本調査は、画像のぼかし除去手法について包括的なレビューを提供しており、従来の最適化ベースの手法と現代のディープラーニング技術を網羅している。入力タイプ、ぼかしモデル、学習パラダイムごとに手法を体系的に分類し、標準的な指標とベンチマークデータセットを用いて性能を評価することで、研究者が現在の進展と今後の方向性を把握できる構造的なガイドラインを提供する。

ABSTRACT

With the improvement of social life quality and the real needs of daily work, images are more and more all around us. Image blurring due to camera shake, human movement, etc. has become the key to affecting image quality. How to remove image blur and restore clear image has gradually become an important research direction in the field of computer vision. After more than half a century of unremitting efforts, the majority of scientific and technological workers have made fruitful progress in image deblurring. This article reviews the work of image deblurring and specifically introduces more classic image deblurring methods, which is helpful to understand current research and look forward to future trends. This article reviews the traditional image deblurring methods and depth-represented image deblurring methods, and comprehensively classifies and introduces the corresponding technical methods. This review can provide some guidance for researchers in the field of image deblurring, and at the same time facilitate their subsequent study and research.

研究の動機と目的

• 従来の手法とディープラーニングベースの画像のぼかし除去手法の構造的概要を提供すること。
• 入力タイプ、ぼかしモデル、学習パラダイムに基づいて、主要なぼかし除去技術を分類・分析すること。
• 画像のぼかし除去評価に広く用いられるベンチマークデータセットを要約すること。
• 客観的および主観的な画像品質評価指標をレビュー・比較すること。
• 研究者が現在のトレンドを理解し、画像のぼかし除去分野における今後の研究方向性を特定できるようにすること。

提案手法

• 画像のぼかし除去手法を最適化ベースとディープラーニングベースのアプローチに分類する。
• ぼかしカーネルと潜在画像の回復に用いられる従来の手法、すなわち最大事後確率（MAP）推定と変分ベイズ（VB）推定をレビューする。
• マルチスケールぼかし除去ネットワーク、GANベースのぼかし除去、エンドツーエンドの画像修復を実現する教師なしニューラルネットワークを含む、ディープラーニングベースの手法を分析する。
• トレーニングおよび評価に用いられる主要なデータセット（GoPro、RealBlur、HIDE、Levin）を紹介する。
• 主観的手法（例：単一刺激連続品質評価）と客観的指標（MSE、PSNR、SSIM）を用いて画像品質を評価する。
• 画像のぼかしプロセスを表す数学的モデル $ b = Ks + n $ を適用し、ぼかし除去を制約付き最適化問題として定式化する。

実験結果

リサーチクエスチョン

• RQ1 入力、ぼかしモデル、学習タイプに基づいて、画像のぼかし除去手法の主なカテゴリーとサブカテゴリーは何か？
• RQ2 MAP や VB といった従来の最適化ベースの手法は、ノイズやぼかしの種類に対して性能とロバスト性においてどのように比較されるか？
• RQ3 ディープラーニングベースのぼかし除去ネットワークにおける、アーキテクチャ的およびトレーニング上の革新は何か？
• RQ4 どのベンチマークデータセットがぼかし除去モデルの評価に最も代表的であり、その特徴は何か？
• RQ5 PSNR や SSIM といった客観的指標は、画像のぼかし除去評価において人間の主観的知覚とどの程度相関しているか？

主な発見

• ウィーナーフィルターや全変動（total variation）といった従来の手法は、非ブラインドぼかし除去には効果的だが、複雑な現実世界のぼかしやノイズには対応に苦労する。
• MAP や VB 手法は自然画像の事前知識を組み込むことで復元性能を向上させるが、しばしば凸でない最適化問題を生じさせ、グローバルな最適解を得るのが困難である。
• ディープラーニングベースの手法、特にエンドツーエンドネットワークは、大規模データから複雑なぼかしカーネルと画像の事前知識を学習することで、従来手法に比べて顕著な性能向上を達成している。
• マルチスケールぼかし除去ネットワークや GAN ベースのモデルは、復元画像の微細なディテールやテクスチャを効果的に保持する強みを示している。
• 教師なしニューラルネットワークはペアドトレーニングデータへの依存を軽減し、データが少ない環境でもぼかし除去が可能になる。
• PSNR や SSIM は依然として標準的な客観的評価指標として用いられているが、SSIM は構造的類似性を考慮するため、PSNR よりも人間の知覚と相関が強い。