[論文レビュー] Learning a Convolutional Neural Network for Non-uniform Motion Blur Removal

Jian Sun, Wenfei Cao+2 more|arXiv (Cornell University)|Mar 2, 2015

Advanced Image Processing Techniques参考文献 31被引用数 96

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）を用いてピクセル単位の空間的に変化するモーションブラー核を推定し、画像回転に基づく核拡張により予測を強化し、マルコフ確率場（MRF）モデルを用いてモーションの滑らかさを制約する深層学習フレームワークを提案する。本手法は、非一様モーションブラー除去において最先端の性能を達成し、平均 MSE_motion が 7.83、PSNR_motion が 44.55 であり、複雑で強い非一様ブラーの状況において、従来の学習ベースおよび手作業特徴ベースの手法を顕著に上回る。

ABSTRACT

In this paper, we address the problem of estimating and removing non-uniform motion blur from a single blurry image. We propose a deep learning approach to predicting the probabilistic distribution of motion blur at the patch level using a convolutional neural network (CNN). We further extend the candidate set of motion kernels predicted by the CNN using carefully designed image rotations. A Markov random field model is then used to infer a dense non-uniform motion blur field enforcing motion smoothness. Finally, motion blur is removed by a non-uniform deblurring model using patch-level image prior. Experimental evaluations show that our approach can effectively estimate and remove complex non-uniform motion blur that is not handled well by previous approaches.

研究の動機と目的

• 単一の曇り画像における複雑で強い非一様モーションブラーを推定・除去する課題に取り組むこと。これは、既存の手法では依然として困難な課題である。
• 従来の手作業特徴やスペクトル解析に依存する手法が失敗する空間的に変化するブラー状況において、モーション核推定の精度を向上させること。
• 明示的なカメラモーションモデルや潜在的シャープ画像の推定を必要とせず、局所的な画像パッチから直接モーションブラー核を予測する深層学習ベースのアプローチを開発すること。
• 画像回転技術を用いて候補モーション核集合を拡張することで、核推定のロバスト性を向上させること。
• モーションベクトルの隣接領域間の遷移における滑らかさを促進するマルコフ確率場（MRF）モデルを用いて、推定されたブラー場の空間的一致性を強制すること。

提案手法

• 局所的画像特徴を入力として、畳み込みニューラルネットワーク（CNN）を訓練し、ピクセル単位のモーション核の確率分布を予測する。
• 予測されたモーション核集合を画像回転技術を用いて拡張し、候補核の多様性とロバスト性を向上させ、複雑なブラーパターンへの一般化性能を向上させる。
• 隣接領域間のモーションベクトル遷移の滑らかさを強制するため、マトリックス確率場（MRF）モデルを用いてピクセル単位の予測を統合し、密な空間的整合性を持つモーションブラー場を生成する。
• 推定された非一様モーションブラー場を、局所的画像プライアーやを活用してシャープ画像を回復するパッチベースの復元モデルの入力として用いる。
• MRF定式化は、単一項（CNN予測）と二項項（滑らかさ制約）を組み合わせ、密なモーション場を最適化する。
• 最終的な復元ステップでは、推定されたモーション核場を用いて非一様デコンボリューションを実行し、パッチ単位の画像統計に基づいた最適化をガイドとする。

実験結果

リサーチクエスチョン

• RQ1 複雑なシーンにおける強い非一様ブラー状況において、深層CNNが局所的画像パッチから空間的に変化するモーションブラー核を効果的に推定できるか？
• RQ2 画像回転を用いた候補モーション核集合の拡張は、モーション核推定の精度をどのように向上させるか？
• RQ3 MRFモデルによるモーションの滑らかさ制約を適用することで、非一様ブラー場の推定品質はどの程度向上するか？
• RQ4 提案手法は、実画像および合成非一様ブラー画像におけるモーション核推定および最終的復元性能の面で、最先端の手法と比較してどのように差をつけるか？
• RQ5 本手法は、グローバルカメラモーションや単純な物体モーションを仮定する従来の仮定ではうまくモデル化できない複雑なブラーパターンを処理できるか？

主な発見

• 本手法は、モーション核推定において平均 MSE_motion が 7.83、PSNR_motion が 44.55 を達成し、BlurSpect や SLayerRegr などのベースライン手法を顕著に上回った。
• MRFに基づく統合とモーション滑らかさ制約により、CNN単体のベースライン（DL_noMRF）に比べて核推定の精度が向上し、空間的一致性の重要性が裏付けられた。
• 画像回転によるモーション核集合の拡張は、特に多様なモーション方向や長さに対応する能力を著しく向上させ、性能向上に寄与した。
• 完全な手法（DL_MRF）は、均一および非一様復元ベースラインと比較して、過剰にシャープ化されず、より自然なテクスチャを再現する視覚的に優れた復元結果を生成した。
• 定性的な比較において、本手法は [13] よりも複雑なモーションパターンをよりよく認識しており、これは強力な性能を発揮するが公開コードが入手できない知られている手法である。
• ベンチマークデータセットにおける定量的評価により、本手法はモーション核推定（MSE_ker）および最終的復元（PSNR_deblur）の両面で最先端の結果を達成した。