[論文レビュー] Kernel-Free Image Deblurring with a Pair of Blurred/Noisy Images.

Chunzhi Gu, Xuequan Lu+2 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Image Processing Techniques参考文献 57被引用数 4

ひとこと要約

本稿では、低照度条件下で撮影されたブラー（低シャッタースピード、低ノイズ）とノイズ（高シャッタースピード、高ノイズ）のペア画像を用い、ブラー核推定を必要としないカーネルフリーな画像のぼかし除去手法を提案する。光学フローで整列されたパッチを用いてパッチ単位の強度分布をGMMでモデル化し、バイラテラル項とディテールレイヤーによる精練を施すことにより、ぼかし核推定なしに視覚的品質および定量的指標で最先端の性能を達成する。

ABSTRACT

Complex blur like the mixup of space-variant and space-invariant blur, which is hard to be modeled mathematically, widely exists in real images. In the real world, a common type of blur occurs when capturing images in low-light environments. In this paper, we propose a novel image deblurring method that does not need to estimate blur kernels. We utilize a pair of images which can be easily acquired in low-light situations: (1) a blurred image taken with low shutter speed and low ISO noise, and (2) a noisy image captured with high shutter speed and high ISO noise. Specifically, the blurred image is first sliced into patches, and we extend the Gaussian mixture model (GMM) to model the underlying intensity distribution of each patch using the corresponding patches in the noisy image. We compute patch correspondences by analyzing the optical flow between the two images. The Expectation-Maximization (EM) algorithm is utilized to estimate the involved parameters in the GMM. To preserve sharp features, we add an additional bilateral term to the objective function in the M-step. We eventually add a detail layer to the deblurred image for refinement. Extensive experiments on both synthetic and real-world data demonstrate that our method outperforms state-of-the-art techniques, in terms of robustness, visual quality and quantitative metrics. We will make our dataset and source code publicly available.

研究の動機と目的

• 数学的に取り扱いにくい、特に空間可変および空間不変の混合ぼかしといった複雑な現実世界のぼかしタイプに対処すること。
• 既存のデブラー手法における主要な制限要因であるぼかし核推定の必要性を排除すること。
• 低照度写真から容易に入手可能な画像ペア（1つはぼやけたもの（低シャッタースピード、低ノイズ）、もう1つはノイズの多いもの（高シャッタースピード、高ノイズ））を活用すること。
• 挑戦的な現実世界のシナリオにおけるデブラーのロバスト性と視覚的品質を向上させること。

提案手法

• ぼやけた画像をパッチに分割し、それぞれのパッチの強度分布を、ノイズの多い画像からの対応するパッチを用いて訓練された拡張型ガウス・ミクスチャ・モデル（GMM）でモデル化する。
• ぼやけた画像とノイズの多い画像間の光学フロー推定により、空間的に対応する領域同士のパッチ対応関係を確立する。
• 期待値最大化（EM）アルゴリズムを用いてGMMパラメータを推定し、Mステップでバイラテラル項を組み込むことで、鋭いエッジと微細なディテールを保持する。
• 最終的なデブラー画像にディテールレイヤーを追加し、高周波成分を精錬してテクスチャの忠実度を向上させる。
• 画像ペア全体の強度分布の統計的モデリングに依存することで、明示的なぼかし核学習を回避する。
• フレームワークは合成データおよび現実世界のデータセット上で訓練・評価され、コードとデータの公開が行われた。

実験結果

リサーチクエスチョン

• RQ1 低照度条件下で撮影されたぼやけた画像とノイズの多い画像ペアを活用することで、カーネルフリーなデブラー手法が優れた性能を達成できるか？
• RQ2 ノイズの多い画像のパッチを用いて訓練されたGMMベースのパッチ強度モデルは、ぼかし核推定なしに、デブラー出力におけるシャープネスをどれほど正確に再構成できるか？
• RQ3 EMベースの最適化におけるバイラテラル項の導入が、エッジの保持と視覚的品質をどの程度向上させるか？
• RQ4 ロバスト性および定量的指標の観点から、本手法は最先端のぼかし核ありおよびカーネルフリーなデブラー技術と比較して、どの程度優れているか？

主な発見

• 提案手法は、合成データおよび現実世界のデータセットにおいて、定量的指標および視覚的品質の両面で、既存の最先端のデブラー技術を上回っている。
• 光学フローで整列されたパッチを用いたGMMの使用により、明示的な核推定を必要とせずに、複雑なぼかし分布の正確なモデリングが可能である。
• Mステップにおけるバイラテラル項の追加により、デブラー出力におけるエッジの保持とシャープネスが顕著に向上している。
• ディテールレイヤーの精錬ステップにより、高周波成分のテクスチャと微細構造が強化され、より優れた知覚的品質が実現されている。
• 本手法は、空間可変および混合ぼかしタイプを含む、複雑な現実世界のぼかしパターンに対しても、強力なロバスト性を示している。
• 著者らは、広範なアブレーションスタディとデータセット・コードの公開を通じて、本手法の有効性を確認している。