[論文レビュー] Blind Image Deblurring: a Review

Zhengrong Xue|arXiv (Cornell University)|Jan 22, 2022

Advanced Image Processing Techniques被引用数 4

ひとこと要約

この論文は、問題定式化、人間の視覚系の知見、最適化ベースおよび学習ベースの手法、理論的基盤を網羅的にレビューする。不適切な問題性やノイズの増幅といった主な課題を強調し、評価指標とデータセットをレビューした上で、核フリーの復元に向けた最新のアプローチ（ダークチャネルプライアーやCNN・GANを含む深層学習モデルなど）を議論している。

ABSTRACT

This is a review on blind image deblurring. First, we formulate the blind image deblurring problem and explain why it is challenging. Next, we bring some psychological and cognitive studies on the way our human vision system deblurs. Then, relying on several previous reviews, we discuss the topic of metrics and datasets, which is non-trivial to blind deblurring. Finally, we introduce some typical optimization-based methods and learning-based methods.

研究の動機と目的

• 未知のぼかしカーネルとノイズに起因する課題を強調しつつ、盲目的な画像のぼかし除去問題の体系的分析を目的とする。
• 人間の視覚系によるぼかし除去の背後にある心理的・認知的メカニズムを検討し、計算手法に生物学的インスピレーションを提供することを目的とする。
• ぼかしカーネル推定と直接的な画像復元アプローチを含む、既存の最適化ベースおよび学習ベースの復元技術をレビュー・分類することを目的とする。
• 盲目的なぼかし除去研究で用いられる現在の評価指標とデータセットの長所・短所を評価することを目的とする。
• Levinら[32]の理論的知見を要約し、特にぼかしカーネルの根本的制約と同定可能性に関する洞察を強調することを目的とする。

提案手法

• 盲的なぼかし除去問題を畳み込み劣化モデルとして定式化する：$ y = k \otimes x + n $、ここで $ k $ は未知のぼかしカーネル、$ x $ は潜在的なシャープな画像、$ n $ はノイズである。
• スパarsity、自然画像統計、ダークチャネルプライアーよりも制約を受ける最適化ベースの手法をレビューする。
• CNNを用いてぼかしカーネルを推定する（例：パッチベース分類、密な運動場）またはぼかしカーネル推定を経由せずに直接シャープな画像を予測する学習ベースの手法を検討する。
• スケール再帰ネットワーク、エッジ保持のためのGANベースの訓練、長距離空間的依存性を捉えるために用いられるハイブリッドCNN-RNNモデルなどの高度なアーキテクチャを議論する。
• 最近のプライアーオブジェクトとして、極端なチャネルプライアーオブジェクト（対称的明るいチャネルと暗いチャネルの組み合わせ）を導入し、ぼやけた画像とシャープな画像を区別するのに有効であることを示す。
• 主観的評価と自動化された指標の両方を用いた比較的分析の利用をレビューし、現在では普遍的に受け入れられたベンチマークが存在しない点に注意を向ける。

実験結果

リサーチクエスチョン

• RQ1 なぜ盲的な画像のぼかし除去は深刻に不適切な問題とみなされるのか。畳み込みモデルに起因する根本的なあいまいさとは何か。
• RQ2 運動によるぼやけにもかかわらず、人間の視覚系が動いている物体をシャープに認識できる背後にある心理的・認知的メカニズムは何か。
• RQ3 最適化ベースの手法は、スパarsityやダークチャネルプライアーオブジェクトといった画像プライアーオブジェクトをどのように活用してぼやけた観測からシャープな画像を回復するのか。
• RQ4 特に非一様ぼかしの状況下において、深層学習ベースの手法は、従来の最適化手法に比べてどの程度性能を向上させるのか。
• RQ5 現在の評価指標とデータセットは、ぼかし除去性能を客観的に測定する上で、どのような制限を抱えているのか。

主な発見

• 逆フィルタリング手法は、特にぼかしカーネルが大きい場合、高周波数で著しいノイズ増幅を引き起こすため失敗する。図1に示すように。
• この問題は不適切である。同じぼやけた画像 $ y $ を生成するような $ (x, k) $ の組み合わせが無限に存在する。たとえば $ k $ がデルタ関数であるような自明な解も含まれる。
• XuとJia[54]は一様ぼかしの状況で強力なパフォーマンスを示すが、Panら[39]は実際の非一様ぼかし状況で他の手法を上回る。
• ダークチャネルプライアーオブジェクトは、ぼやけた画像とシャープな画像を効果的に区別できる。ぼやけた画像では、局所的なパッチ内で任意の色チャネルに低輝度のピクセルが少ないからである。
• Nahら[38]やKupynら[27]のような学習ベースの手法は、明示的なカーネル推定を経由せず、直接シャープな画像を復元することで最先端の結果を達成し、エッジの忠実度が向上している。
• Yanら[56]は極端なチャネルプライアーオブジェクトを提案し、暗いチャネルと対称的な明るいチャネルのプライアーオブジェクトを組み合わせ、最適化ベースのぼかし除去において有望な定性的な結果を示している。