[論文レビュー] Dense Scene Flow from Stereo Disparity and Optical Flow

René Schuster, Oliver Wasenmüller+1 more|arXiv (Cornell University)|Aug 30, 2018

Advanced Vision and Imaging参考文献 15被引用数 4

ひとこと要約

本稿では、歪み補正と光流を組み合わせて歪みとエッジに配慮した補間を施すことで、リアルタイムな高密度シーンフロー推定手法を提案する。SceneFlowFields (SFF) を用いた補間により、KITTIベンチマークで6.6%のD1誤差を達成し、最先端の性能を発揮。従来の再結合手法を上回りながらも、36秒という高速な推論時間を維持している。

ABSTRACT

Scene flow describes 3D motion in a 3D scene. It can either be modeled as a single task, or it can be reconstructed from the auxiliary tasks of stereo depth and optical flow estimation. While the second method can achieve real-time performance by using real-time auxiliary methods, it will typically produce non-dense results. In this representation of a basic combination approach for scene flow estimation, we will tackle the problem of non-density by interpolation.

研究の動機と目的

• 従来のステレオと光流の組み合わせによる非高密度のシーンフロー出力の課題に対処すること。
• 不正確な補間を回避するため、高速かつ高精度な補助手法（歪みと光流）を活用してリアルタイムな高密度シーンフロー推定を実現すること。
• 歪んだ歪みと光流に適用された高度な補間技術により、高密度シーンフローの再構築品質を向上させること。
• 高品質な補助結果と洗練された補間を組み合わせることで、優れたシーンフロー性能が得られることを示すこと。

提案手法

• 本手法は、時間 $t+1$ の歪みマップを光流を用いて時間 $t$ に歪ませることで、中間の歪み $d_t^{t+1}$ を推定し、スパースなシーンフロー表現を形成する。
• 双線形補間を用いてサブピクセル歪み値を歪ませるが、この方法ではオクルージョンや画像境界で欠損値が生じる。
• エッジに配慮した補間として、SceneFlowFields (SFF) を用いてスパースな組み合わせから高密度な3次元幾何と運動場を再構築する。
• SFFアルゴリズムは2段階の補間を実行する：まず幾何のための局所的平面を推定し、次に3次元運動のための局所的アフィン変換を推定する。
• 複数の補間戦略を評価しており、幾何と運動の同時補間、および歪みと運動成分の別々の補間が含まれる。
• 本手法は、高精度かつ高速なSFF-stereoを歪み推定に、FlowFields++を光流推定に使用しており、両者とも精度と速度に優れている。

実験結果

リサーチクエスチョン

• RQ1 ステレオ歪みと光流の組み合わせにより、競争力のある精度とリアルタイム性能を達成する高密度シーンフローを生成できるか？
• RQ2 スパースな推定からの高密度シーンフロー再構築において、エッジに配慮した補間は標準的な補間手法よりも優れているか？
• RQ3 幾何と運動の成分を同時に補間することで、歪みと運動を別々に補間するよりも優れた結果が得られるか？
• RQ4 補助タスク（歪みと光流）の性能向上が、再結合フレームワークにおける最終的なシーンフロー品質にどの程度寄与するか？
• RQ5 本手法は、エンドツーエンドのシーンフローネットワークと比べて、精度と推論速度の両面で優れているか？

主な発見

• 提案手法は、KITTIシーンフローベンチマークでD1誤差6.6%を達成し、元のSGM+SFの組み合わせと比較して2.1ポイントのD1誤差低減を達成した。
• 幾何と運動の両方を同時に補間する戦略（統合補間）が、個々のサブタスクの精度がわずかに低いにもかかわらず、全体のシーンフロー推定で最も優れた結果を出した。
• 本手法は36秒で実行可能であり、大多数のエンドツーエンド手法よりも顕著に高速で、スピードと精度のトレードオフにおいても、多数の最先端手法を上回った。
• SPS-stereoとFlowFields++といった高度な補助ネットワークを用いることで、以前の手法（SGMとFF+）と比較してベースライン性能が向上した。
• 局所的平面モデル（disp-plane）とアフィン運動モデル（disp-affine）を用いた歪みの補間は強く、disp-planeでは21.2%のSF誤差、disp-affineでは20.4%のSF誤差を達成した。
• 本手法は、高品質な補助結果と洗練された補間を組み合わせることで、専用のエンドツーエンドシーンフローネットワークの性能を凌駕または同等にすることが可能であることを示している。