[論文レビュー] Simultaneous Stereo Video Deblurring and Scene Flow Estimation

Liyuan Pan, Yuchao Dai+2 more|arXiv (Cornell University)|Apr 11, 2017

Advanced Image Processing Techniques参考文献 31被引用数 5

ひとこと要約

本稿では、ピecewise平面的シーン仮定を活用して、同時的なステレオ動画のぼやけ除去と3次元シーンフロー推定のための統合最適化フレームワークを提案する。運動推定とぼやけカーネルモデリングの両方を向上させるために、シーンフローとぼやけ除去を統一されたパイプラインで相互に強化することで、実際の屋外データセットにおいて最先端の性能を達成し、複雑な運動および深度変動に対処する点で、従来の単眼およびステレオぼやけ除去手法を顕著に上回る。

ABSTRACT

Videos for outdoor scene often show unpleasant blur effects due to the large relative motion between the camera and the dynamic objects and large depth variations. Existing works typically focus monocular video deblurring. In this paper, we propose a novel approach to deblurring from stereo videos. In particular, we exploit the piece-wise planar assumption about the scene and leverage the scene flow information to deblur the image. Unlike the existing approach [31] which used a pre-computed scene flow, we propose a single framework to jointly estimate the scene flow and deblur the image, where the motion cues from scene flow estimation and blur information could reinforce each other, and produce superior results than the conventional scene flow estimation or stereo deblurring methods. We evaluate our method extensively on two available datasets and achieve significant improvement in flow estimation and removing the blur effect over the state-of-the-art methods.

研究の動機と目的

• カメラの運動、動く物体、深度の変化によって引き起こされる屋外ステレオ動画シーケンスにおける運動ぼやけの課題に対処すること。
• ぼやけ除去とシーンフロー推定を別々のタスクとして扱う従来の手法の限界を克服し、誤差の伝搬を防ぐこと。
• シーンフロー推定と画像のぼやけ除去が、共有される運動および構造的ヒントを通じてお互いに向上する統一されたフレームワークを構築すること。
• 空間的に変化するぼやけカーネルをピecewise平面的仮定を用いてモデリングし、複雑な動的シーンにおける精度を向上させること。
• 特に大規模な運動および深度変動を示す実世界の屋外データセットにおいて、優れた性能を示すこと。

提案手法

• ぼやけたステレオ動画から、同時に3次元シーンフローを推定し、元の鮮明な画像を復元するための統合最適化フレームワークを定式化する。
• ピクセルが同じスーパーピクセルに属する場合、同一のホモロジーを共有するピecwise平面的仮定を導入し、光学フローおよびぼやけカーネルの構造的モデリングを可能にする。
• シーンフローから得られる運動ヒントを用いて、空間的に変化するぼやけカーネルをモデリングし、複雑な運動ぼやけを正確に表現可能にする。
• ぼやけ除去とシーンフローの両方のデータ適合項に加え、滑らかさおよび一貫性の正則化項を統合する。
• マルチスケール最適化戦略を採用し、複数のイテレーションにわたり、潜在画像、シーンフロー、ぼやけカーネルの間で交互に最小化を実行する。
• MATLABフレームワーク内にC++で加速された実装を用い、1つのi7プロセッサで1シーンあたり約40分で6枚の画像を処理する。

実験結果

リサーチクエスチョン

• RQ1 ぼやけ除去とシーンフロー推定の統合最適化は、逐次的または独立的なアプローチよりも優れた性能を達成できるか？
• RQ2 ピecwise平面的シーン仮定を組み込むことで、動的シーンにおけるぼやけカーネル推定および運動フローの精度がどの程度向上するか？
• RQ3 クリアな画像推定を用いることで、ぼやけの影響下でもシーンフロー推定のロバスト性がどの程度向上するか？
• RQ4 本手法は、大規模な運動および深度変動を示す実際の屋外データセットにおいて、最先端の単眼およびステレオぼやけ除去手法と比較して、どの程度優れているか？
• RQ5 ぼやけ除去とシーンフロー推定の相互強化は、PSNRおよびフロー誤差指標の両方で測定可能な改善をもたらすか？

主な発見

• Blurred KITTIデータセットでは、3フレームでPSNRが30.71 dBに達し、Sellentら[31]（28.52 dB）およびKimとLee[16]（29.00 dB）を顕著に上回った。
• 「Chair」シーケンスでは、Sellentら[31]と比較してシーンフロー誤差を1.18%低減し、PSNRは23.26 dBを達成した。これは、彼らの23.07 dBを上回る。
• 3フレーム平均化ぼやけを適用したKITTIデータセットでは、PSNRが23.89 dBに達し、KimとLee[16]（23.21 dB）およびSellentら[31]（23.31 dB）を上回った。
• カーネル密度推定の結果、本手法は重い尾部を持つPSNR分布を示しており、困難なシーケンスでも一貫した性能を発揮していることを示している。
• 50の困難なシーケンスにおいて、最初のイテレーションから最後のイテレーションにかけてPSNRが0.3 dB向上した。これは、反復的統合最適化の利点を裏付けている。
• 可視化結果から、特に高速に動く物体やカメラの運動を伴う複雑な屋外シーンにおいて、優れたぼやけ除去およびフロー推定性能が得られていることが明らかになった。