[論文レビュー] End-to-end Interpretable Learning of Non-blind Image Deblurring

Thomas Eboli, Jian Sun+1 more|arXiv (Cornell University)|Jul 3, 2020

Advanced Image Processing Techniques参考文献 45被引用数 4

ひとこと要約

本稿では、畳み込み型プリコンディショナーフィックスポイントソルバーを用いて、非盲目的な画像のぼかし除去のための学習可能でエンドツーエンドの解釈可能なフレームワークを提案する。CNNベースのアーキテクチャにぼかしおよび事前分布カーネルの近似逆フィルタを埋め込むことで、一様および非一様ぼかしの両方において最先端の性能を達成し、FFTおよび共役勾配法よりも高速かつ高精度であると同時に、ぼかしカーネルの近似値に対しても安定性を示す。

ABSTRACT

Non-blind image deblurring is typically formulated as a linear least-squares problem regularized by natural priors on the corresponding sharp picture's gradients, which can be solved, for example, using a half-quadratic splitting method with Richardson fixed-point iterations for its least-squares updates and a proximal operator for the auxiliary variable updates. We propose to precondition the Richardson solver using approximate inverse filters of the (known) blur and natural image prior kernels. Using convolutions instead of a generic linear preconditioner allows extremely efficient parameter sharing across the image, and leads to significant gains in accuracy and/or speed compared to classical FFT and conjugate-gradient methods. More importantly, the proposed architecture is easily adapted to learning both the preconditioner and the proximal operator using CNN embeddings. This yields a simple and efficient algorithm for non-blind image deblurring which is fully interpretable, can be learned end to end, and whose accuracy matches or exceeds the state of the art, quite significantly, in the non-uniform case.

研究の動機と目的

• FFTや共役勾配法のような古典的ソルバーが非盲目的な画像のぼかし除去において、特に非一様ぼかしの状況で示す限界を是正すること。
• 畳み込み構造を活用して画像全体にわたる効率的なパラメータ共有を実現する、高速かつ高精度な最小二乗ソルバーを開発すること。
• CNNを用いてプリコンディショナーとプロキシマル演算子をエンドツーエンドで同時に学習可能とし、一般化性能と性能を向上させること。
• ブラックボックス型ニューラルネットワークではなく、物理的根拠に基づいたプリコンディショナーを用いることで、解釈可能性と安定性を確保すること。
• 離散的な局所ぼかしカーネルの近似逆フィルタを事前計算することで、非一様運動ぼかしへの拡張を可能とすること。

提案手法

• 非盲目的ぼかし除去問題を最小二乗部分問題とプロキシマル部分問題に分離するため、半2次的分割フレームワークを用いる。
• 標準的な最小二乗ソルバーの代わりに、畳み込みフィルタをプリコンディショナーとして用いたプリコンディショニング付きリチャードソン固定点反復法を採用する。
• ぼかしカーネルおよび自然画像事前分布カーネルの近似逆フィルタを、CNN内の学習可能な畳み込み層として実装する。
• プリコンディショナーとプロキシマル演算子を1つのエンドツーエンドで学習可能なネットワークに統合し、共同最適化を可能にする。
• 非一様ぼかしの効率的処理を可能とするために、離散的な局所ぼかしカーネルの近似逆フィルタを事前計算する（例：{1,3,...,35}の並進および{0°,6°,...,174°}の方向）。
• フーリエドメインの制限（境界アーチファクトや周期性仮定）を回避するため、ピクセルドメインで直接処理を行う。

実験結果

リサーチクエスチョン

• RQ1 畳み込み型プリコンディショナーは、非盲目的ぼかしの最小二乗部分問題を解く際、FFTおよび共役勾配法を上回る性能を示せるか？
• RQ2 解釈可能性を保ちながら、プリコンディショナーとプロキシマル演算子をエンドツーエンドで同時に学習可能か？
• RQ3 FFTベースの手法が適用できない非一様運動ぼかしにおいて、本手法はどのように性能を発揮するか？
• RQ4 トレーニング時に見られなかった近似または大きなぼかしカーネルを用いても、本手法は安定性を保てるか？
• RQ5 本手法は、一様および非一様ぼかしの両設定において、最先端の性能を達成できるか？

主な発見

• 提案手法LCHQSは、1%ノイズの非一様ぼかしにおいて、CGベース手法よりもPSNRが+1.13 dB向上し、200倍高速である。
• 1%ノイズの非一様ぼかしにおいて、LCHQS_Fは26.98 ± 0.08 dBのPSNRを達成し、HQS-CG（25.84 dB）およびHQS-FFT（23.49 dB）を上回った。
• 本手法は近似ぼかしカーネルに対しても安定性を示す：101×101の推定カーネルを用いた実世界画像の復元では、FCNNやFDNよりもシャープな結果が得られ、アーチファクトを発生させない。
• 非盲目的設定において、LCHQS_Fは1%ノイズ条件下で26.98 ± 0.08 dBのPSNRを達成し、CGベースおよびFFTベースのベースラインを著しく上回った。
• 500×375 RGB画像において、本手法はCGより200倍、FFTベースのソルバーより420倍高速であり、推論時間は1秒未満であった。
• 本手法は、トレーニング時に見られなかったぼかしカーネルやノイズレベルに対しても良好に一般化され、微調整なしに安定性を示した。