[論文レビュー] Dynamic Scene Deblurring using a Locally Adaptive Linear Blur Model

Tae Hyun Kim, Seungjun Nah+1 more|arXiv (Cornell University)|Mar 14, 2016

Advanced Image Processing Techniques参考文献 36被引用数 16

ひとこと要約

本稿では、動的シーンにおける非一様なブラー（運動、カメラジッタ、深度変化、被写 depth 変化に起因）を扱うために、局所的に適応する線形ブラーモデルを用いて、双方向オプティカルフロー、ぼかしマップ、および潜在的シャープフレームを同時に推定する動的シーンのデブラー法を提案する。効率的なソルバを備えた統一的エネルギー最小化フレームワークとして定式化することで、新しく導入されたベンチマークデータセット上での定性的および定量的評価において、最先端の手法を上回るデブラー性能とオプティカルフロー推定性能を達成した。

ABSTRACT

State-of-the-art video deblurring methods cannot handle blurry videos recorded in dynamic scenes, since they are built under a strong assumption that the captured scenes are static. Contrary to the existing methods, we propose a video deblurring algorithm that can deal with general blurs inherent in dynamic scenes. To handle general and locally varying blurs caused by various sources, such as moving objects, camera shake, depth variation, and defocus, we estimate pixel-wise non-uniform blur kernels. We infer bidirectional optical flows to handle motion blurs, and also estimate Gaussian blur maps to remove optical blur from defocus in our new blur model. Therefore, we propose a single energy model that jointly estimates optical flows, defocus blur maps and latent frames. We also provide a framework and efficient solvers to minimize the proposed energy model. By optimizing the energy model, we achieve significant improvements in removing general blurs, estimating optical flows, and extending depth-of-field in blurry frames. Moreover, in this work, to evaluate the performance of non-uniform deblurring methods objectively, we have constructed a new realistic dataset with ground truths. In addition, extensive experimental on publicly available challenging video data demonstrate that the proposed method produces qualitatively superior performance than the state-of-the-art methods which often fail in either deblurring or optical flow estimation.

研究の動機と目的

• 従来の動画デブラー手法が静的シーンを仮定しており、複雑で非一様なブラーを示す動的シーンでは失敗することを解決すること。
• 運動と被写 depth ブラーを同時に処理できる、オプティカルフロー、被写 depth ブラー マップ、および潜在的シャープフレームを同時に推定する統一モデルの構築。
• 非一様デブラー手法の客観的評価を可能にする、実際的で公開可能なベンチマークデータセットの構築。
• 従来の手法がブラー仮定に整合しないために失敗する運動境界におけるオプティカルフロー推定精度の向上。
• エネルギー モデルに時間的整合性項を組み込むことで、リバーブアーチファクトを低減し、エッジを保持すること。

提案手法

• 本手法は、ブラーを、双方向オプティカルフローによる運動ブラーと、ガウスブラー マップによる被写 depth ブラーの画素単位の組み合わせとしてモデル化し、複雑なブラー パatters に局所的に適応可能にする。
• 潜在フレーム、オプティカルフロー、被写 depth ブラー マップを同時に最適化するための単一のエネルギー関数を提案し、データ適合性、滑らかさ、時間的整合性の項を含む。
• エネルギー関数には、時間的整合性項が含まれており、これがエッジ付近のリバーブアーチファクトを低減する。
• 大規模かつ非凸な最適化問題を効率的に解くために、交替方向乗数法（ADMM）を用いた最適化フレームワークを構築した。
• 運動ブラー カーネルの正確な表現を可能にするために、双方向オプティカルフロー推定を用いる。
• 被写 depth ブラー マップは空間的に変化するガウスカーネルとして推定され、シーン全体における深度に起因するブラーの変動を捉える。

実験結果

リサーチクエスチョン

• RQ1 統一的モデルが、動的シーンにおける非一様ブラーを効果的に処理するために、オプティカルフロー、被写 depth ブラー マップ、および潜在フレームを同時に推定できるか？
• RQ2 提案された局所的適応ブラー モデルは、一様またはパラメトリックなブラー モデルに比べて、複雑な運動および被写 depth ブラーをどのように効果的に処理できるか？
• RQ3 時間的整合性項の導入が、エッジの保持とリバーブアーチファクトの低減にどの程度寄与するか？
• RQ4 大規模な物体の運動とカメラジッタを伴う実世界の動的動画において、本手法は、最先端のエグジンプラーおよびセグメンテーションベース手法と比較して、どのように性能を発揮するか？
• RQ5 真値を備えた新しいベンチマークデータセットは、非一様デブラーアルゴリズムのより信頼性の高い客観的評価を可能にするか？

主な発見

• 提案手法は、特に高速移動物体や複雑な運動境界において、従来の手法が失敗する実世界の動的動画において、優れたデブラー性能を達成した。
• 運動境界におけるオプティカルフロー推定精度が顕著に向上し、[30] がブラーに一貫性のない仮定を採用しているため失敗するのとは対照的に、本手法は優れた性能を示した。
• 時間的整合性項の導入により、リバーブアーチファクトが低減され、エッジのシャープネスが向上したことが、有効な項あり・なしの定量的比較で確認された。
• 新たに構築されたベンチマークデータセット上では、運動、被写 depth、およびそれらの組み合わせを含む多様なブラー種別に対して、本手法は強力な性能を示した。
• 本手法は、エグジンプラー [18] やセグメンテーションベース [15] の最先端手法を上回り、草や木のような中周波数のテクスチャを保持しながら、動く物体のデブラーを実現した。
• 回転運動を伴う動画において、顕著に非一様にぼやけた顔の復元に成功し、複雑なブラー パターンに対しても本手法の有効性を示した。