[論文レビュー] Deep Semantic Matching for Optical Flow.

Min Bai, Wenjie Luo+2 more|arXiv (Cornell University)|Apr 6, 2016

Advanced Vision and Imaging参考文献 27被引用数 3

ひとこと要約

本稿では、自律走行ドライビングにおける単眼オプティカルフロー推定のためのディープラーニング手法を提案する。インスタンスレベルのセグメンテーションとエピポーラ制約を活用し、交通参加者の剛体運動をモデル化する。本稿では、不確実性推定を併せ持つ新しい畳み込みニューラルネットワークを提案し、KITTI 2015ベンチマークで最先端の性能を達成した。

ABSTRACT

We tackle the problem of estimating optical flow from a monocular camera in the context of autonomous driving. We build on the observation that the scene is typically composed of a static background, as well as a relatively small number of traffic participants which move rigidly in 3D. We propose to estimate the traffic participants using instance-level segmentation. For each traffic participant, we use the epipolar constraints that govern each independent motion for faster and more accurate estimation. Our second contribution is a new convolutional net that learns to perform flow matching, and is able to estimate the uncertainty of its matches. This is a core element of our flow estimation pipeline. We demonstrate the effectiveness of our approach in the challenging KITTI 2015 flow benchmark, and show that our approach outperforms published approaches by a large margin.

研究の動機と目的

• 交通参加者を剛体運動する対象としてモデル化することで、単眼自律走行ドライビング環境におけるオプティカルフロー推定を改善すること。
• 各移動対象インスタンスに特化したエピポーラ幾何制約を活用することで、推定誤差を低減すること。
• 特徴量のフレーム間マッチングを学習する一方で、マッチングの不確実性を予測するディープニューラルネットワークの開発。
• インスタンスレベルのセグメンテーションと運動の一貫性を活用することで、フローの精度とロバスト性を向上させること。

提案手法

• インスタンスレベルのセグメンテーションを用いて、静的背景から移動する交通参加者を分離する。
• 各セグメンテーション対象に対して、運動推定における幾何的一致性を強制するためエピポーラ制約を適用する。
• 新しい畳み込みニューラルネットワークを訓練し、フレーム間でのセマンティック特徴マッチングと不確実性予測を実行する。
• インスタンス運動モデルと学習されたマッチング信頼度を組み合わせたフロー推定パイプラインにネットワークを統合する。
• 静的背景と剛体運動する物体というシーン構造を活用することで、フロー推定の精度を向上させる。
• 不確実性を考慮したマッチングにより、低信頼度の対応関係がフィルタリングされ、ロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルのセグメンテーションは、自律走行ドライビング環境におけるオプティカルフロー推定を改善できるか？
• RQ2 エピポーラ制約をディープラーニングと効果的に統合することで、運動推定を向上させられるか？
• RQ3 ディープネットワークは、対応関係の不確実性を推定しながらセマンティックマッチングを学習できるか？
• RQ4 不確実性予測は、複雑なドライビングシーンにおけるフローの精度とロバスト性を向上させられるか？
• RQ5 幾何的制約と学習された特徴を組み合わせたハイブリッドアプローチは、エンドツーエンドのフローネットワークを上回る性能を発揮できるか？

主な発見

• 提案手法は、KITTI 2015オプティカルフローベンチマークで最先端の性能を達成した。
• インスタンスレベルのセグメンテーションの活用により、移動する車両や歩行者のフロー精度が顕著に向上した。
• エピポーラ制約の組み込みにより、より幾何的一致性の高いフローフィールドが得られた。
• 不確実性推定モジュールは、低信頼度のマッチングを効果的に同定・抑制した。
• 実世界のドライブシーケンスにおいて、発表済みの手法を大きく上回り、優れた一般化性能を示した。