[論文レビュー] Spatially-Varying Blur Detection Based on Multiscale Fused and Sorted Transform Coefficients of Gradient Magnitudes

S. Alireza Golestaneh, Lina J. Karam|arXiv (Cornell University)|Mar 22, 2017

Image Processing Techniques and Applications参考文献 34被引用数 9

ひとこと要約

本稿では、入力画像の勾配の大きさに対して高周波数マルチスケール融合およびソート変換（HiFST）を用いた、ブラーの種類やカメラ設定に関係なく、空間的に変化するブラーを検出する新規な1枚画像用空間的変動ブラー検出手法を提案する。本手法は、多様なブラー種別において最先端の性能を達成し、ノイズや歪みに対しても頑健である。

ABSTRACT

The detection of spatially-varying blur without having any information about the blur type is a challenging task. In this paper, we propose a novel effective approach to address the blur detection problem from a single image without requiring any knowledge about the blur type, level, or camera settings. Our approach computes blur detection maps based on a novel High-frequency multiscale Fusion and Sort Transform (HiFST) of gradient magnitudes. The evaluations of the proposed approach on a diverse set of blurry images with different blur types, levels, and contents demonstrate that the proposed algorithm performs favorably against the state-of-the-art methods qualitatively and quantitatively.

研究の動機と目的

• ブラーの種別、強度、カメラパラメータの事前知識なしに、1枚の画像内での空間的変動ブラーを検出する課題に対処すること。
• ノイズや画像歪みを含む現実世界の条件下でも効果を発揮するブラー検出手法を開発すること。
• 多様なコンピュータビジョンタスクに適用可能な、頑健で汎用性の高いブラー検出フレームワークを構築すること。
• 被検出ブラーが合焦点および運動ブラーの両方において、定量的・定性的な評価で既存の最先端手法を上回ること。
• 得られたブラー地図を用いて、被焦点距離の推定、ブラー拡大、復元処理などの実用的応用を可能にすること。

提案手法

• 入力画像から勾配の大きさを計算し、高周波数のエッジおよびテクスチャ情報を捉える。
• 複数の解像度で勾配の大きさに対してマルチスケール離散コサイン変換（DCT）を適用し、高周波成分を抽出する。
• 新規な高周波数マルチスケール融合およびソート変換（HiFST）を導入し、スケール間でDCT係数を統合・順序付けし、ブラーに感受性の高い高周波エネルギーを強調する。
• 順序付けられ統合された係数を用いて、明るさが高い領域がシャープな領域に対応するブラー検出マップを生成する。
• 高周波成分の統計的性質を活用することで、事前のブラーモデル仮定なしに、ぼやけた領域とシャープな領域を区別する。
• ノイズやJPEG歪みなどの一般的な画像劣化に対して不変となるように設計されており、現実世界のシナリオにおける頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前のブラー特性の知識なしに、多様なブラー種別（例：合焦点、運動）に対して高い精度を達成できる1枚画像用ブラー検出手法は可能か？
• RQ2 提案手法であるHiFSTベースの手法は、ノイズやJPEG歪みなどの現実世界の画像劣化条件下でどのように性能を示すか？
• RQ3 得られたブラー地図は、被焦点距離の推定や復元処理などの下流ビジョンタスクの改善にどの程度寄与できるか？
• RQ4 定量的指標と視覚的品質の両面で、HiFSTフレームワークは既存の最先端手法を上回るか？
• RQ5 本手法は、1枚の画像のみを用いても、カメラの被焦点位置や被焦点からの距離を信頼性高く推定できるか？

主な発見

• 提案手法であるHiFSTは、合焦点および運動ブラーの両方において最先端の性能を達成し、定量的指標で既存手法を上回っている。
• ゼロ平均ガウスノイズ、アダプティブノイズ、JPEG圧縮を含む多様な歪みに対して強い頑健性を示しており、CSIQデータベースにおける定性的評価でもその有効性が裏付けられている。
• 多様な画像コンテンツおよびブラー強度の下でも、生成されたブラー検出マップは真値マップと極めて一貫性がある。
• 被焦点距離（DOF）の推定においても正確な性能を示しており、正規化ブラー地図（$\tilde{D}$）の中央値は絞り値（f-stop）が増加するにつれて一貫して上昇している。
• ブラー地図は、ブラー拡大、復元処理、被焦点からの距離推定に成功して応用されており、実用的なコンピュータビジョンパイプラインにおける有効性が示された。
• レンズ、ガウス、ラジアル、ズーム、表面ブラーを含む合成ブラー種別に対しても、本手法は競争力のある性能を維持しており、一般化能力の高さが確認された。