[論文レビュー] Robust Optical Flow Estimation of Double-Layer Images under Transparency or Reflection

Jiaolong Yang, Hongdong Li+2 more|arXiv (Cornell University)|May 6, 2016

Advanced Vision and Imaging参考文献 33被引用数 4

ひとこと要約

本論文は、明るさ定常性が成立しない透明性や反射を伴う二重層画像における頑健なオプティカルフロー推定のための新規最適化フレームワークを提案する。従来の明るさ定常性の仮定が失敗する状況において、一般化された二重層明るさ定常性制約を導入し、単純な事前知識を用いてオプティカルフローと層分離を同時に推定することで、合成データおよび実世界データの両方で最先端の性能を達成し、歪み誤差を顕著に低減するとともに、フローの滑らかさと一貫性を向上させる。

ABSTRACT

This paper deals with a challenging, frequently encountered, yet not properly investigated problem in two-frame optical flow estimation. That is, the input frames are compounds of two imaging layers -- one desired background layer of the scene, and one distracting, possibly moving layer due to transparency or reflection. In this situation, the conventional brightness constancy constraint -- the cornerstone of most existing optical flow methods -- will no longer be valid. In this paper, we propose a robust solution to this problem. The proposed method performs both optical flow estimation, and image layer separation. It exploits a generalized double-layer brightness consistency constraint connecting these two tasks, and utilizes the priors for both of them. Experiments on both synthetic data and real images have confirmed the efficacy of the proposed method. To the best of our knowledge, this is the first attempt towards handling generic optical flow fields of two-frame images containing transparency or reflection.

研究の動機と目的

• 透明または反射層を有するシーンにおけるオプティカルフロー推定の課題に取り組むこと。ここで標準的な明るさ定常性の仮定は成立しない。
• 背景と前景の両方の層を同時に推定する統一フレームワークを構築すること。
• 静的および動的移動する前景層を含む一様な最適化フレームワーク内で処理すること。
• 反射や透過を伴う実世界の撮影条件下でも、フローの精度と層分離の質を向上させること。

提案手法

• 二つの連続フレーム間で、オプティカルフロー場と画像層強度を結びつける一般化された二重層明るさ定常性制約を導入する。
• 層結合演算子（⊕）を用いて、観測画像を背景シーン層と前景の干渉層の重ね合わせとしてモデル化する。
• 背景および前景層の強度、それぞれのオプティカルフロー場を同時に推定する最適化問題を定式化し、一般化された明るさ制約を強制する。
• オプティカルフロー（例：滑らかさ）および層分離（例：スパarsity、低ランク）の単純な事前知識を用いて解を正則化する。
• 反復的に層推定、フロー場、明るさ定常性制約を改善するための交互最適化戦略を採用する。
• 初期層分離をベースライン手法（例：[21]）で行い、その後統合最適化プロセスで改善する。

実験結果

リサーチクエスチョン

• RQ1 透明性または反射を伴う二重層シーンにおいて、統一フレームワークが同時にオプティカルフローと画像層分離を推定できるか？
• RQ2 単一の層ではなく、二つの移動する画像層にわたって明るさ定常性制約を一般化する方法は何か？
• RQ3 動的前景層が存在する状況において、提案手法が初期のフローおよび層推定をどの程度改善できるか？
• RQ4 層が模様のない状態または同一の運動をとる場合、この手法の限界は何か？

主な発見

• 提案手法は画像の歪み誤差を顕著に低減し、実際の反射画像では平均誤差を2.55にまで低下（初期推定値の6.27から）させた。
• 第二の実画像ペアでは、歪み誤差を3.86から1.49に低減し、初期化に対する一貫した改善を示した。
• 視覚的結果では、反射の影響を受ける壁や床などの困難な領域でも、より滑らかで一貫性のあるオプティカルフロー場が得られた。
• 前景層が動的移動していても、層分離とフロー推定を成功裏に実行でき、ベースライン初期化を上回った。
• 初期化に依存せず、合成データおよび実データの両方で一貫してフローと層推定を改善する。
• 両層が模様のない状態、または同一の運動をとる場合、明るさ制約が退化するため、手法は失敗する。