[論文レビュー] End-to-End Learning for Image Burst Deblurring

Patrick Wieschollek, Bernhard Schölkopf+2 more|arXiv (Cornell University)|Jul 15, 2016

Advanced Image Processing Techniques参考文献 33被引用数 7

ひとこと要約

この論文は、周波数ドメインでの重み付けと空間的デコンボリューションを統合したエンド・ツー・エンドのディープラーニングフレームワークを提案し、画像バーストのぼやけ除去を実現する。FBA（Fourier Burst Accumulation）とデコンボリューションフィルタ予測のためのニューラルネットワークを組み合わせることで、ハイブリッドアーキテクチャ上で周波数ドメインでの重み付けと空間的デコンボリューションを同時に学習することで、最先端のシャープネスと高速性を達成し、逐次パイプラインを上回り、空間的に不変および変化するぼやけに対しても対応可能である。

ABSTRACT

We present a neural network model approach for multi-frame blind deconvolution. The discriminative approach adopts and combines two recent techniques for image deblurring into a single neural network architecture. Our proposed hybrid-architecture combines the explicit prediction of a deconvolution filter and non-trivial averaging of Fourier coefficients in the frequency domain. In order to make full use of the information contained in all images in one burst, the proposed network embeds smaller networks, which explicitly allow the model to transfer information between images in early layers. Our system is trained end-to-end using standard backpropagation on a set of artificially generated training examples, enabling competitive performance in multi-frame blind deconvolution, both with respect to quality and runtime.

研究の動機と目的

• 複数フレームのブラインドデブラーイングの不適切な性質に対処するため、シャープな画像とぼやけ核の同時推定にディープラーニングを活用する。
• FBAとデコンボリューションを別々に処理する逐次パイプラインの限界を克服する。これらの手法はリバーブアーティファクトを引き起こし、最適でない性能を示す。
• エンド・ツー・エンドの学習を可能にし、周波数ドメインでの重み付けと空間的デコンボリューションを同時に最適化することで、再構成品質を向上させる。
• 内部特徴の転送を可能にする埋め込みサブネットワークを統合することで、ほぼシャープなフレームが存在しないバーストに対しても適用可能にする。
• 多様なぼやけ条件、特に空間的に変化するぼやけを含む環境においても、高い画像品質を維持しながら、競争力ある実行速度を達成する。

提案手法

• FBA（Fourier Burst Accumulation）法を微分可能で学習可能な重みを持つレイヤーとして統合したハイブリッドニューラルネットワークアーキテクチャを提案し、ヒューリスティックな平均化の代わりに使用する。
• Chakrabartiら[11]のアイデアを踏まえたフロントエンドサブネットワークを導入し、各画像パッチのデコンボリューションフィルタの複素数係数を予測する。
• 周波数ドメイン処理の前段階で、初期層に小さなニューラルネットワークを埋め込み、複数フレーム間の情報共有を可能にし、バースト全体にわたる特徴の転送を強化する。
• 既知のぼやけカーネルをシャープな画像に適用して生成した合成データ上で、バックプロパゲーションを用いて全モデルをエンド・ツー・エンドで訓練する。
• シャープネスとアーティファクト抑制の最適化のため、L1またはL2再構成誤差に基づく損失関数を用いる。
• FBAレイヤーを周波数ドメインでの微分可能で学習可能な平均化演算として適用し、ネットワーク全体に勾配が伝搬可能にする。

実験結果

リサーチクエスチョン

• RQ1 FBAとデコンボリューションの両方を統合した統一されたディープニューラルネットワークが、逐次パイプラインを上回る性能で周波数ドメインでの画像融合と空間的デコンボリューションを同時に最適化できるか？
• RQ2 FBAとデコンボリューションネットワークを統合したハイブリッドアーキテクチャをエンド・ツー・エンドで学習することで、カスケード型手法と比較してリバーブアーティファクトが減少し、シャープネスが向上するか？
• RQ3 埋め込みサブネットワークによる内部特徴の転送を活用することで、ほぼシャープなフレームが存在しないバーストに対しても、モデルが効果的に対処できるか？
• RQ4 空間的に変化するぼやけ（画像内でぼやけカーネルが異なる）に対して、モデルはどれほど適応可能か？
• RQ5 提案手法は、最先端の生成的および判別的アプローチと比較して、再構成品質と推論速度の両面で競争力のある性能を達成できるか？

主な発見

• エンド・ツー・エンドで訓練されたモデルは、Chakrabarti[11]とDelbracio & Sapiro[3]を逐次的にスタックするベースライン手法と比較して、顕著にリバーブアーティファクトを低減している。
• 埋め込みされた情報共有メカニズムのおかげで、ほぼシャープなフレームが少ないバーストにおいても、優れたシャープネスと視覚的品質を達成している。
• 最適な周波数ドメイン重みを学習することで、FBAの標準的手法を常に上回るシャープな再構成が可能になっている。
• 空間的に変化するぼやけに対しても、実際のカメラの軌道から得られた非定常なぼやけカーネルで劣化したシーケンスにおいても、FBAよりも明確にシャープな結果を生成している。
• トレーニングの進行状況から、シャープネスが継続的に向上していることが確認され、エンド・ツー・エンドのバックプロパゲーションによる効果的な最適化が実証された。
• 実行速度面でも競争力があり、コンsumerフォトグラフィーにおけるリアルタイムまたはニアリアルタイム応用に適している。