[論文レビュー] Non-uniform Blur Kernel Estimation via Adaptive Basis Decomposition

Guillermo Carbajal, Patricia Vitoria+3 more|arXiv (Cornell University)|Feb 1, 2021

Advanced Image Processing Techniques参考文献 38被引用数 10

ひとこと要約

本稿では、1枚の曇った画像から高密度で空間的に変化する運動ブラー核を推定する非パrametric的で適応型の基本関数分解手法を提案する。畳み込みニューラルネットワーク（CNN）が、画像固有の基本関数ブラー核とピクセルごとの混合係数を予測し、正確なブラー場再構成を可能にする。変分法による復元と組み合わせることで、実際の曇った画像において最先端の性能を達成し、一般化性能と過光量領域の取り扱いにおいて、エンドツーエンドの深層学習手法を上回る。

ABSTRACT

Motion blur estimation remains an important task for scene analysis and image restoration. In recent years, the removal of motion blur in photographs has seen impressive progress in the hands of deep learning-based methods, trained to map directly from blurry to sharp images. Characterization of the motion blur, on the other hand, has received less attention, and progress in model-based methods for deblurring lags behind that of data-driven end-to-end approaches. In this work we revisit the problem of characterizing dense, non-uniform motion blur in a single image and propose a general non-parametric model for this task. Given a blurry image, a neural network is trained to estimate a set of image-adaptive basis motion kernels as well as the mixing coefficients at the pixel level, producing a per-pixel motion blur field. We show that our approach overcomes the limitations of existing non-uniform motion blur estimation methods and leads to extremely accurate motion blur kernels. When applied to real motion-blurred images, a variational non-uniform blur removal method fed with the estimated blur kernels produces high-quality restored images. Qualitative and quantitative evaluation shows that these results are competitive or superior to results obtained with existing end-to-end deep learning (DL) based methods, thus bridging the gap between model-based and data-driven approaches.

研究の動機と目的

• 非一様な運動ブラー核を推定する際のパrametricモデルに基づく手法の限界を解消すること。
• 正確な非パrametric的ブラー核推定を可能にすることで、モデルベースとデータ駆動型の復元アプローチの溝を埋めること。
• 特に過光量領域を有する低照度条件下でも、実世界の曇った画像への一般化性能を向上させること。
• 学習された基本関数を用いて、空間的に変化するブラー場のコンactで画像に適応した表現を提供すること。
• 推定された核を用いたモデルベースの復元が、実データにおいてエンドツーエンドの深層学習手法を上回ることを示すこと。

提案手法

• 入力の曇った画像ごとに、画像に適応した基本関数運動ブラー核とそれに対応するピクセルごとの混合係数を予測するCNNを訓練する。
• 各ピクセルにおけるブラー核は、学習済みの混合係数を用いて基本関数ブラー核の重み付き和として計算される。
• 密な空間的に変化するブラー場を効率的にモデル化するために低ランク表現を用いる。
• 過光量領域を明示的にモデル化することで、低照度条件下でのロバスト性を向上させる。
• 推定されたブラー核は、古典的な非盲目的な変分法による復元アルゴリズム（例：Richardson-Lucy）の入力として使用され、画像の修復が行われる。
• フレームワークは独自に作成した合成データセットで訓練され、RealBlurとLaiの実世界ベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 非パrametric的で適応型の基本関数分解アプローチは、従来のモデルベース手法よりも、より正確で一般化性の高い非一様なブラー核推定を達成できるか？
• RQ2 このような学習された核表現は、実際の非合成な曇った画像の復元において、エンドツーエンドの深層学習手法を上回ることができるか？
• RQ3 低照度写真における過光量領域のような困難なケースに対して、この手法はどの程度効果的に機能するか？
• RQ4 推定されたブラー核場は、古典的な変分法による復元アルゴリズムの性能をどの程度向上させるか？
• RQ5 推定されたブラー核を事前学習済みのGANベースの復元モデルに組み込むことで、性能向上と幻覚の低減が達成できるか？

主な発見

• 本手法は、RealBlur-RベンチマークでPSNR 36.17 dB、SSIM 0.946を達成し、比較対象のすべてのエンドツーエンドの深層学習手法を上回った。
• RealBlur-Jベンチマークでは、PSNR 28.95 dB、SSIM 0.865を達成し、MPRNet や DMPHN といった最先端手法即ちをも凌駆した。
• 本手法は実際の曇った画像において、エンドツーエンドの深層学習モデルを顕著に上回り、PSNRで最大3.17 dBの向上を示し、一般化性能の優位性を裏付けた。
• 定性的な比較において、本手法は、多数の競合手法が失敗する過光量領域の詳細回復に成功した。
• DeblurGANに推定核をファインチューニングした結果、PSNR 28.08 dBを達成し、動画入力を必要とするReblur2Deblur手法をわずかに上回った。
• 推定されたブラー核は非常に正確であり、非盲目的で変分法ベースの復元アルゴリズムでも、高品質な復元を可能にした。