[論文レビュー] Occlusion-Aware Video Deblurring with a New Layered Blur Model

Byeongjoo Ahn, Tae Hyun Kim+2 more|arXiv (Cornell University)|Nov 29, 2016

Advanced Image Processing Techniques参考文献 36被引用数 3

ひとこと要約

本稿では、合成とぼかしの操作の順序を逆転させることで、物理的なぼかし生成プロセスを正確に反映する、新しい階層的ぼかしモデルを用いた、遮蔽を考慮した動画のぼかし除去手法を提案する。遮蔽を強度の減衰ではなくカーネルの切り詰めでモデル化することにより、特に物体の境界で優れた復元性能を達成し、合成および実世界の動画シーケンスにおいて、先行する階層的モデルを上回る性能を発揮する。

ABSTRACT

We present a deblurring method for scenes with occluding objects using a carefully designed layered blur model. Layered blur model is frequently used in the motion deblurring problem to handle locally varying blurs, which is caused by object motions or depth variations in a scene. However, conventional models have a limitation in representing the layer interactions occurring at occlusion boundaries. In this paper, we address this limitation in both theoretical and experimental ways, and propose a new layered blur model reflecting actual blur generation process. Based on this model, we develop an occlusion-aware deblurring method that can estimate not only the clear foreground and background, but also the object motion more accurately. We also provide a novel analysis on the blur kernel at object boundaries, which shows the distinctive characteristics of the blur kernel that cannot be captured by conventional blur models. Experimental results on synthetic and real blurred videos demonstrate that the proposed method yields superior results, especially at object boundaries.

研究の動機と目的

• 遮蔽境界における層間相互作用を正しく表現できない従来の階層的ぼかしモデルの限界を解決すること。
• シャッターオープン時間中の実際のぼかし形成プロセスを正確に反映する生成的ぼかしモデルの開発。
• 遮蔽物体を含むシーンにおいて、明確な前景・背景、動きベクトル、アルファマットの正確な推定を可能にすること。
• 物体境界におけるぼかしカーネル特性の理論的および実験的分析を行い、従来のモデルが見逃していた性質を明らかにすること。

提案手法

• 合成とぼかしの操作の順序を逆転させた新しい階層的ぼかしモデルを提案：まず各層を個別にぼかし、その後に合成することで、物理的なぼかし生成プロセスに一致させる。
• 新しいモデルに基づく尤度関数を定式化し、潜在的な画像、動き、アルファマット推定の最適化を支援する。
• 制御された遮蔽と運動を備えた合成トレーニングおよび評価データを生成するために、物理に基づくレンダラを用いる。
• 境界再構築の向上と曖昧なピクセル混合の処理のため、効果的な正則化および最適化技術を適用する。
• 遮蔽境界におけるぼかしカーネルを、実際の遮蔽時間に従って切り詰めることでモデル化し、強度の減衰ではなく物理的実態に即した表現を実現する。
• 新しいモデルを動画のぼかし除去パイプラインに統合し、ぼやけたフレームから同時に動き、深度、明確な画像を推定する。

実験結果

リサーチクエスチョン

• RQ1 従来の階層的ぼかしモデルは、遮蔽境界における真のぼかし生成プロセスをどのように正しく表現できないか？
• RQ2 従来のモデルが捉えられない、物体境界におけるぼかしカーネルの特徴的な性質は何か？
• RQ3 物理的なぼかしプロセスに従うように再構築された階層的ぼかしモデルは、遮蔽領域におけるぼかし除去性能を向上させられるか？
• RQ4 提案モデルがぼかしカーネルの切り詰めと強度の減衰のどちらを採用するかが、再構築品質に与える影響は？
• RQ5 複雑な遮蔽が存在する状況下で、新しいモデルはどれほど正確な動き、セグメンテーション、明確な画像を回復できるか？

主な発見

• 提案された階層的ぼかしモデルは、遮蔽を強度の低下ではなくぼかしカーネル長の切り詰めで正しく表現し、物理的なぼかしプロセスと整合する。
• モデルは、相対的な層の速度に応じて、境界におけるぼかしカーネルが重なり合ったり分離したりする可能性があることを明らかにしたが、これは従来のモデルでは捉えられていなかった性質である。
• 実験結果から、[35]および[19]と比較して、遮蔽境界におけるぼかし除去品質に顕著な向上が見られ、特にリングイングアーチファクトの低減に効果的である。
• レンダリングされたシーケンスの例から、遮蔽物体がぼやけていても、明確な前景および背景を効果的に回復できていることが示された。
• 理論的分析により、WulffとBlack [35]のモデルは、静的背景条件下での提案モデルの特殊ケースであることが確認された。
• 合成および実世界のぼやけた動画の両方で、最先端の性能を達成しており、特に境界再構築および層分離の面で優れた性能を発揮している。