[論文レビュー] Cascaded Scene Flow Prediction using Semantic Segmentation

Zhile Ren, Deqing Sun+2 more|arXiv (Cornell University)|Jul 26, 2017

Advanced Vision and Imaging参考文献 19被引用数 6

ひとこと要約

本稿では、ステレオおよびオプティカルフロー推定と統合することで3次元シーンフロー予測を向上させる、段階的な条件付きランダムフィールドフレームワークを提案する。インスタンスレベルの意味的ヒントを用いて、段階的にセグメンテーション、深度、動き、フローを改善することで、特に移動する車両において最先端の性能を達成し、前景の視差誤差を8.40、フロー誤差を8.20（D1-fgおよびFl-fg）まで低減した。

ABSTRACT

Given two consecutive frames from a pair of stereo cameras, 3D scene flow methods simultaneously estimate the 3D geometry and motion of the observed scene. Many existing approaches use superpixels for regularization, but may predict inconsistent shapes and motions inside rigidly moving objects. We instead assume that scenes consist of foreground objects rigidly moving in front of a static background, and use semantic cues to produce pixel-accurate scene flow estimates. Our cascaded classification framework accurately models 3D scenes by iteratively refining semantic segmentation masks, stereo correspondences, 3D rigid motion estimates, and optical flow fields. We evaluate our method on the challenging KITTI autonomous driving benchmark, and show that accounting for the motion of segmented vehicles leads to state-of-the-art performance.

研究の動機と目的

• 低テクスチャおよび反射性表面を有する車両を含め、動きのある前景オブジェクトにおける3次元シーンフロー推定の不正確さを是正すること。
• 剛体オブジェクトを過剰にセグメンテーションし、グローバルな運動情報の共有に失敗するスーパーピクセルベースの手法の限界を克服すること。
• 意味的インスタンスセグメンテーションを活用して、部分剛体運動モデリングをガイドし、幾何学的および運動的一致性を向上させること。
• 構造的予測を用いて、複数のシーンフローコンポーネントを同時に段階的に精緻化する効率的な反復フレームワークを開発すること。
• 段階的推論パイプラインに意味的ヒントを統合することで、KITTIのシーンフローベンチマークで最先端の性能を達成すること。

提案手法

• 特に車両を対象として、剛体的に移動する前景オブジェクトを特定するためのインスタンスレベルの意味的セグメンテーションを事前知識として用いる。
• セグメンテーション、ステレオ視差、オプティカルフロー、3次元剛体運動を同時にモデル化する複数段階の条件付きランダムフィールド（CRF）を有する段階的分類フレームワークを設計する。
• 構造的SVM学習を用いて、各段階を構造的予測で最適化することで、すべてのシーンフローコンポーネントを反復的に精緻化する。
• 高次元出力空間を分離し、効率的なメッセージパッシングアルゴリズムを適用することで、単一CPU上でリアルタイム推論を可能にする。
• 非意味的シーンフローメソッド（PRSF）からのノイズの多い予測を初期化として用い、意味的および幾何的制約を用いて段階的に推定を改善する。
• 連続フレーム間の運動をモデル化することで時間的一致性を統合し、段階的推論の後続段階で精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複雑な現実世界のシーンにおける剛体的に移動するオブジェクトの3次元シーンフロー推定精度は、意味的セグメンテーションによって向上するか？
• RQ2 段階的CRFフレームワークによる反復的精緻化は、視差、フロー、運動推定の一貫性および精度をどのように向上させるか？
• RQ3 意味的ヒントは、ウィンドウガラスや低テクスチャ車両表面など困難領域での誤差をどの程度低減するか？
• RQ4 インスタンスレベルの意味的セグメンテーションの統合は、スーパーピクセルベースのベースラインと比較して、KITTIのシーンフローベンチマークで測定可能な性能向上をもたらすか？
• RQ5 段階的構造は、高次元のシーンフローエstimatationにおいて、計算効率と精度のバランスをどのようにとるか？

主な発見

• 提案手法はKITTI検証セットにおいて、前景視差誤差（D1-fg）8.40、前景フロー誤差（Fl-fg）8.20を達成し、先行する最先端手法を上回った。
• 段階的推論の進行に伴い性能が著しく向上：D1-fgはPRSFの10.10から3回の反復後に8.40に低下し、効果的な反復的精緻化が確認された。
• 正解のセグメンテーションマスクが与えられた場合、D1-fg誤差は7.61、Fl-fgは3.56にまで低下し、正確な意味的ヒントの強力な影響を示した。
• 最初の段階ではセグメンテーションと幾何学を独立してモデル化することで誤差が低減され、2番目の段階では時間的一致性の導入によりさらなる改善が達成された。
• 出力空間の高次元性にもかかわらず、分離された推論とメッセージパッシングアルゴリズムのおかげで、単一コアCPU上でも効率的な処理が維持された。
• 意味的セグメンテーションが車両の境界を正しく検出できない場合に失敗ケースが発生し、性能が正確なインスタンスセグメンテーションに強く依存していることが確認された。