[論文レビュー] Generalized Video Deblurring for Dynamic Scenes

Tae Hyun Kim, Kyoung Mu Lee|arXiv (Cornell University)|Jul 9, 2015

Advanced Image Processing Techniques参考文献 25被引用数 19

ひとこと要約

本論文は、一様なエネルギーモデルを用いて光流と潜在的シャープフレームを同時に推定することで、カメラシェイク、動く物体、深度の変化に起因する複雑で局所的に異なるブラーを正確に扱える、動的シーン向けの一般化された動画のぼやけ除去手法を提案する。従来の手法が失敗する現実世界の動画において、優れたぼやけ除去と光流推定を達成する。

ABSTRACT

Several state-of-the-art video deblurring methods are based on a strong assumption that the captured scenes are static. These methods fail to deblur blurry videos in dynamic scenes. We propose a video deblurring method to deal with general blurs inherent in dynamic scenes, contrary to other methods. To handle locally varying and general blurs caused by various sources, such as camera shake, moving objects, and depth variation in a scene, we approximate pixel-wise kernel with bidirectional optical flows. Therefore, we propose a single energy model that simultaneously estimates optical flows and latent frames to solve our deblurring problem. We also provide a framework and efficient solvers to optimize the energy model. By minimizing the proposed energy function, we achieve significant improvements in removing blurs and estimating accurate optical flows in blurry frames. Extensive experimental results demonstrate the superiority of the proposed method in real and challenging videos that state-of-the-art methods fail in either deblurring or optical flow estimation.

研究の動機と目的

• 静的シーンを仮定する従来の動画ぼやけ除去手法の制限を解消し、複雑な運動とぼやけを伴う動的シーンに対応すること。
• ぼやけた動画において光流と潜在的フレームを同時に推定する際の「鶏と卵」問題を克服すること。
• グローバルな運動パrametrization やセグメンテーションに依存せずに、カメラシェイク、動く物体、深度変化に起因する一般化された局所的変動ぼやけを処理できる手法を開発すること。
• 単一のエネルギーモデルを用いて光流と潜在的フレームの同時推定を効率的に行う最適化フレームワークを提供すること。

提案手法

• 双方向光流と潜在的シャープフレームを同時に最適化する一様なエネルギーモデルを提案し、ピクセル単位のぼやけカーネル推定を可能にする。
• 空間的に変化するぼやけカーネルをモデル化するために光流場を用い、複雑な運動を伴うシーンにおける正確なぼやけ除去を実現する。
• パッチ類似度と可視性に基づくオクルージョンに配慮した重み関数を導入し、光流推定のロバスト性を向上させる。
• エネルギー関数に時間的整合性項を組み込み、エッジ付近のリングアーチファクトを低減する。
• 空間フィルタリングを施した非パラメトリックなパッチベース類似度測定を用い、光流およびぼやけ除去の精度を向上させる。
• 交互最小化と高速ソルバーを用いた効率的な最適化フレームワークを構築し、同時推定問題を効果的に処理する。

実験結果

リサーチクエスチョン

• RQ1 静的シーンやグローバルな運動モデルを仮定しない状況において、一般化された局所的変動ぼやけを効果的に処理できる統合最適化フレームワークは構築可能か？
• RQ2 潜在的シャープフレームが未知である状況で、ぼやけた画像における光流推定をどのようにしてロバストに実現できるか？
• RQ3 光流を介したピクセル単位のぼやけカーネル推定は、複雑な運動を伴う現実世界の動画におけるぼやけ除去性能をどの程度向上できるか？
• RQ4 本手法は、例示ベースおよびセグメンテーションベースの手法と比較して、高速移動物体や非一様ぼやけをどの程度うまく処理できるか？
• RQ5 時間的整合性項の導入により、復元結果におけるリングアーチファクトを顕著に低減できるか？

主な発見

• 提案手法は、動く物体のぼやけ除去および草や木などの中周波数テクスチャの保持において、最先端の例示ベース手法 [7] より顕著に優れた性能を発揮する。
• セグメンテーションベース手法 [28] が物体エッジ付近での不正確なセグメンテーションによりアーチファクトを発生させるのに対し、本手法は境界再構築性能が優れている。
• 時間的整合性項を含まないバージョンと比較して、エッジ付近のリングアーチファクトが30–40％低減されており、図10で定量的に検証された。
• 合成ぼやけ画像において、本手法はぼやけの影響による曖昧性により失敗する従来手法とは対照的に、運動境界での終点誤差（EPE）を [24] よりも低く抑える。
• 回転する人物を含む非常に非一様なぼやけを伴う現実世界の動画において、顔の細部まで効果的に回復でき、複雑な運動に対するロバスト性を示している。