[論文レビュー] Optical Flow with Semantic Segmentation and Localized Layers

Laura Sevilla-Lara, Deqing Sun+2 more|arXiv (Cornell University)|Mar 12, 2016

Advanced Vision and Imaging参考文献 35被引用数 15

ひとこと要約

本稿では、セマンティックセグメンテーションを統合してクラス固有の運動モデル（平面に対してはホモグラフィー、移動物体に対しては変形を伴うアフィン、複雑な領域に対しては密なフロー）を適用する、意味的オプティカルフロー（SOF）を提案する。局所化されたレイヤー構造を用い、空間的に適応するモデルにより、単眼オプティカルフロー推定を向上させる。SOFは、公開済みの単眼手法の中でKITTI-2015ベンチマークで最小の誤差を達成し、運動境界や低テクスチャ領域での精度を顕著に向上させる。

ABSTRACT

Existing optical flow methods make generic, spatially homogeneous, assumptions about the spatial structure of the flow. In reality, optical flow varies across an image depending on object class. Simply put, different objects move differently. Here we exploit recent advances in static semantic scene segmentation to segment the image into objects of different types. We define different models of image motion in these regions depending on the type of object. For example, we model the motion on roads with homographies, vegetation with spatially smooth flow, and independently moving objects like cars and planes with affine motion plus deviations. We then pose the flow estimation problem using a novel formulation of localized layers, which addresses limitations of traditional layered models for dealing with complex scene motion. Our semantic flow method achieves the lowest error of any published monocular method in the KITTI-2015 flow benchmark and produces qualitatively better flow and segmentation than recent top methods on a wide range of natural videos.

研究の動機と目的

• 運動境界、低テクスチャ領域、高速運動といった困難な状況におけるオプティカルフロー推定の改善を目的とする。
• 物体クラスに応じた運動モデル（例：道路に対してはホモグラフィー、車両に対してはアフィン）をセマンティックセグメンテーションを活用して適用することを目的とする。
• グローバルなレイヤー構造の限界を克服するため、領域ごとに変化する空間的に適応可能な局所化されたレイヤー定式化を導入することを目的とする。
• 運動とセマンティクスの相互強化を通じて、フローの精度とセグメンテーションの質の両方を向上させることを目的とする。
• 現実世界の動画シーケンスにおいて、セマンティック事前知識をオプティカルフロー推定に統合することの利点を示すこと。

提案手法

• 本手法は、画像領域を「モノ（独立に動く物体）」、「平面（道路など平坦な表面）」、「ダミー（複雑で非平面な領域）」に分類する最先端のセマンティックセグメンテーションネットワークを用いる。
• 各セマンティッククラスに対して、異なる運動モデルを適用する：平面にはホモグラフィー、モノには変形を伴うアフィン、ダミーには空間的に変化する密なフロー。
• 局所化されたレイヤー構造を導入し、各空間的パッチには最大2つのレイヤー（例：前面の物体と背景）を含め、レイヤーの範囲は領域ごとに変化する。
• 運動推定は、セマンティックラベルとの整合性を強制し、物体境界に一致するレイヤー分割を優遇する最適化問題として定式化される。
• フローとセグメンテーションの両方を反復的に最適化する統合最適化フレームワークを用い、両出力を向上させる。
• 本手法は、KITTI-2015ベンチマークおよび多様なYouTube動画を用いて、マルチスケール損失と正則化を用いてエンドツーエンドで訓練・評価される。

実験結果

リサーチクエスチョン

• RQ1 低テクスチャ領域、高速運動、オクルージョン境界において、セマンティックセグメンテーションはオプティカルフロー推定を改善できるか？
• RQ2 クラス固有の運動モデル（例：道路に対してはホモグラフィー、車両に対してはアフィン）は、汎用モデルよりもより正確なフローをもたらすか？
• RQ3 レイヤー数や範囲が空間的に変化する局所化されたレイヤー構造は、複雑なシーンにおいてグローバルなレイヤー構造を上回る性能を示すか？
• RQ4 オプティカルフロー推定は、特に物体境界においてセマンティックセグメンテーションを向上させられるか？
• RQ5 セマンティクスと運動モデリングを統合することで、現実世界の困難なシーケンスにおけるフローオフラインを低減できるか？

主な発見

• SOFは、公開済みの単眼オプティカルフロー手法の中でKITTI-2015ベンチマークで最小の誤差を達成し、Fl-all誤差は16.81%であった。
• DiscreteFlowと比較して平均で5.5%の誤差低減を達成し、特に道路や移動中の車両付近で顕著な改善が見られた。
• オクルージョン領域では平均で30%のオフライン低減が達成され、運動境界におけるフロー精度、特に平面とモノに対して向上した。
• 多様なYouTubeシーケンスにおいて、最先端手法と比較して、質的に優れたセグメンテーションとフローを生成し、特に物体境界の微調整が顕著に改善された。
• フロー推定は初期のセマンティックセグメンテーションを向上させ、特に細いまたは曖昧な領域で、セグメンテーションと運動の相互強化が実証された。
• 実行時間は管理可能で、KITTI-2015の1フレームあたり合計で約6分であり、主に初期フロー推定（3分）と物体運動モデリング（1〜2分）が占めている。