[論文レビュー] Phase-only Image Based Kernel Estimation for Single-image Blind Deblurring

Liyuan Pan, Richard Hartley+2 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Image Processing Techniques参考文献 49被引用数 6

ひとこと要約

本稿では、動きの方向や大きさを符号化する絶対値位相のみの画像の自己相関を分析することで、周波数領域から直接ぼかしカーネルを推定する、単一画像のブラインドデブラー用に新規に提案された位相のみの画像ベースの手法を提示する。この手法は、ベンチマークデータセットで最新のPSNR、SSIM、SSD指標を達成し、特に詳細回復とリングアーチファクトの低減において優れた性能を示す。

ABSTRACT

The image blurring process is generally modelled as the convolution of a blur kernel with a latent image. Therefore, the estimation of the blur kernel is essentially important for blind image deblurring. Unlike existing approaches which focus on approaching the problem by enforcing various priors on the blur kernel and the latent image, we are aiming at obtaining a high quality blur kernel directly by studying the problem in the frequency domain. We show that the auto-correlation of the absolute phase-only image can provide faithful information about the motion (e.g. the motion direction and magnitude, we call it the motion pattern in this paper.) that caused the blur, leading to a new and efficient blur kernel estimation approach. The blur kernel is then refined and the sharp image is estimated by solving an optimization problem by enforcing a regularization on the blur kernel and the latent image. We further extend our approach to handle non-uniform blur, which involves spatially varying blur kernels. Our approach is evaluated extensively on synthetic and real data and shows good results compared to the state-of-the-art deblurring approaches.

研究の動機と目的

• 周波数ドメインから直接ぼかしカーネルを推定することで、単一画像のブラインドデブラーの不適切な性質に対処する。
• 従来の手法が事前知識に大きく依存するのを克服するため、位相のみの画像の特性を活用して動きのパターンを抽出する。
• 一様および非一様ぼかしの両方に対して、シンプルで効果的かつ効率的なカーネル推定パイプラインを構築する。
• カーネルと画像勾配の両方に空間的スパarsity正則化を組み合わせることで、復元品質を向上させる。
• 局所的な位相のみの画像解析と動きのパターン推定を用いて、空間的に変化するカーネルに適応することで、非一様ぼかしへの拡張を可能にする。

提案手法

• ぼやけた入力のフーリエ変換から位相のみの画像を再構築し、構造的エッジを保持するため位相情報のみを保持する。
• 絶対値位相のみの画像の自己相関を計算して、ぼかしの方向や大きさを含む動きのパターンを抽出する。
• 得られた動きのパターンをぼかしカーネルの初期推定値とし、スパarsity事前知識を用いた最適化により精緻化する。
• ぼかしカーネルと潜在画像勾配の両方に空間的スパarsityを強制する連合最適化問題を定式化し、復元品質を向上させる。
• 局所的な位相のみの画像解析と動きのパターン推定を用いて、空間的に変化するカーネルをモデル化することで、非一様ぼかしへの拡張を実現する。
• MATLABでフレームワークを実装し、C++ラッパーを統合し、$800 \times 800$ 画像の効率的デブラー用に粗くから細かくへの戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 絶対値位相のみの画像の自己相関は、ぼかしカーネルに対応する動きのパターン（方向と大きさ）を信頼性を持って明らかにできるか？
• RQ2 従来の事前知識と比較して、位相のみの画像解析は、高品質な初期ぼかしカーネル推定にどの程度有効か？
• RQ3 提案された位相ベースのカーネル推定は、スパarsity正則化を用いて効果的に精緻化され、優れたデブラー結果を達成できるか？
• RQ4 本手法は、空間的に変化するカーネルを有する非一様ぼかしにどの程度一般化可能か？
• RQ5 実データおよび合成データにおいて、本手法は最新のブラインドデブラー手法と定量的および定性的にどの程度比較できるか？

主な発見

• [17] データセットでは、本手法はPSNR 28.38 dB、SSIM 0.9250、SSD 0.8776を達成し、[19]、[23]、[43]、[34]を含むすべての比較手法を上回った。
• [13] データセットでは、本手法はPSNR 30.18 dB、SSIM 0.933を達成し、深層学習モデル（[16]、[19]を含む）を含むすべてのベースラインの中で最高であった。
• 図1、4、5、6、8の定性的な結果から、本手法は[23]、[43]、[19]と比較して、より鋭い詳細を回復し、リングアーチファクトをより効果的に低減していることが示された。
• 1つのi7コアで$800 \times 800$ 画像あたり40秒の処理時間を達成し、実用的な効率性を示した。
• アブレーションスタディにより、位相のみの画像解析が極めて重要であることが確認され、その除去により性能が著しく低下した（PSNRが25.74 dBに低下）。
• 本手法は非一様ぼかしにも成功裏に拡張され、複雑な空間的に変化するぼかし状況においても、高品質なカーネル推定と画像復元を維持した。