[論文レビュー] A Neural Approach to Blind Motion Deblurring

Ayan Chakrabarti|arXiv (Cornell University)|Mar 15, 2016

Advanced Image Processing Techniques参考文献 18被引用数 49

ひとこと要約

本論文では、個々の画像パッチの復元フィルタのフーリエ係数を予測するニューラルネットワークを用いて、ブラインドモーションデブラーを実現するディープラーニング手法を提案する。重複するパッチに独立してネットワークを適用し、グローバルに推定されたぼかしカーネルで精錬することで、反復的手法と比較して著しく高速な推論（GPUで65秒）を達成しながら、多様なぼかしカーネルに対して高いロバスト性を維持し、最先端の復元精度を達成した。

ABSTRACT

We present a new method for blind motion deblurring that uses a neural network trained to compute estimates of sharp image patches from observations that are blurred by an unknown motion kernel. Instead of regressing directly to patch intensities, this network learns to predict the complex Fourier coefficients of a deconvolution filter to be applied to the input patch for restoration. For inference, we apply the network independently to all overlapping patches in the observed image, and average its outputs to form an initial estimate of the sharp image. We then explicitly estimate a single global blur kernel by relating this estimate to the observed image, and finally perform non-blind deconvolution with this kernel. Our method exhibits accuracy and robustness close to state-of-the-art iterative methods, while being much faster when parallelized on GPU hardware.

研究の動機と目的

• 反復最適化手法の遅い収束を回避する、高速でロバストなブラインドモーションデブラー手法の開発。
• 手作業で設計された事前知識に依存せず、データから自然画像およびぼかしカーネルの事前知識を暗黙的に学習するディープラーニングの活用。
• 局所的な画像領域で独立して動作するパッチベースのニューラルネットワークアーキテクチャを設計することで、効率的で並列化可能な推論を実現。
• GPUアクセラレーションにより実行時間を著しく短縮しつつ、最先端の反復的手法と同等の性能を達成すること。
• 反復的精錬なしで、識別的に学習されたニューラルネットワークをブラインドデコンボリューションに適用する可能性の検証。

提案手法

• コアとなる手法は、各ぼやけた画像パッチの複素フーリエ係数を予測する畳み込みニューラルネットワークを訓練すること。
• 入力パッチのマルチスケール周波数分解を採用し、周波数局所的接続を用いることでパrameter数を削減し、大きなぼかしカーネルへの一般化性能を向上。
• 画像再構築のため、入力画像内のすべての重複パッチにネットワークを独立して適用し、その出力を平均化して初期のシャープな画像推定値を生成。
• 初期推定値と観測されたぼやけた画像との関係を考慮し、最小二乗問題を解いて1つのグローバルぼかしカーネルを明示的に推定。
• 最後に、推定されたグローバルカーネルを用いて非ブラインドデコンボリューションを実行し、最終的なデブラー出力を得る。
• パイプライン全体がエンドツーエンド微分可能であり、大規模なぼやけ・シャープ画像ペアデータセット上で識別的に訓練されている。

実験結果

リサーチクエスチョン

• RQ1 反復的精錬なしで、識別的に学習されたニューラルネットワークが、最先端の反復的手法と同等の復元性能を達成できるか？
• RQ2 周波数ドメインでのフィルタ予測を伴うパッチベースのニューラルネットワークは、大きな任意の運動ぼかしカーネルに対しても一般化性能を発揮できるか？
• RQ3 データから暗黙の事前知識を学習することで、従来の手作業による事前知識に比べ、多様な画像コンテンツに対してより高いロバスト性が向上するか？
• RQ4 GPU並列処理を活用することで、パッチ単位の推論戦略が効率的かつスケーラブルに実現できるか？
• RQ5 さまざまなカーネルサイズにおいて、本手法の性能は反復的およびヒューリスティック手法と比較して、精度と速度の両面で優れているか？

主な発見

• 提案手法は、[2]および[3]の最先端の反復的手法と同等の復元性能を達成しており、広範なカーネルサイズにわたり一貫した成功率を示した。
• 本手法はNVIDIA Titan X GPU上で65秒で実行可能であり、[2]の91分（マルチコアCPU）および[3]の38分（マルチコアCPU）と比較して100倍以上高速であった。
• 本手法は、[16]の先行ニューラルアプローチよりも、大きなぼかしカーネルに対して著しく優れたロバスト性を示した。[16]はカーネルサイズが増加するにつれて精度が急激に低下していた。
• 本手法の失敗事例は、主にトレーニングデータに存在しない曖昧なテクスチャに起因しており、ネットワークの暗黙の事前知識が一般的なシーンタイプにうまく一般化していることを示している。
• 本手法の性能は、多様な画像カテゴリにわたり安定的かつ一貫しており、失敗モードはアーキテクチャの構造的制限よりもデータ分布のシフトに起因していることが明らかになった。
• 周波数ドメイン特徴エンコーディングと局所的接続の活用により、トレーニング可能なパラメータ数が削減され、大規模なパッチおよび大きなぼかしカーネルにおける有効な訓練が可能になった。