[論文レビュー] Deep Rigid Instance Scene Flow

Wei-Chiu Ma, Shenlong Wang+3 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Vision and Imaging参考文献 45被引用数 7

ひとこと要約

本稿では、GPUアクセラレートされたガウス＝ニュートン解法を用いて最適化される幾何学的エネルギー関数と、深層畳み込みニューラルネットワークによるオプティカルフロー、視差、インスタンスセグメンテーションを組み合わせることで、自律走行における3次元シーンフローを推定する、深層構造的モデルであるDeep Rigid Instance Scene Flow (DRISF)を提案する。本手法はKITTIデータセットにおいて最先端の精度を達成するとともに、従来手法に比べ800倍高速である。

ABSTRACT

In this paper we tackle the problem of scene flow estimation in the context of self-driving. We leverage deep learning techniques as well as strong priors as in our application domain the motion of the scene can be composed by the motion of the robot and the 3D motion of the actors in the scene. We formulate the problem as energy minimization in a deep structured model, which can be solved efficiently in the GPU by unrolling a Gaussian-Newton solver. Our experiments in the challenging KITTI scene flow dataset show that we outperform the state-of-the-art by a very large margin, while being 800 times faster.

研究の動機と目的

• 自律走行シナリオにおけるリアルタイムかつ高精度な3次元シーンフロー推定の課題に取り組む。
• 深層学習フレームワーク内に、特に動的物体およびエゴ車両の剛体運動という強い幾何的事前知識を統合する。
• 純粋に深層学習に基づく手法が構造的整合性を欠き、物体インスタンス全体にわたる一貫性のない運動を生じさせることを是正する。
• ガウス＝ニュートン解法を微分可能でエンドツーエンド学習可能なニューラルネットワークにアンロールすることで、高精度かつリアルタイム性能を達成する。

提案手法

• 本手法はまず、連続するステレオ画像ペアからオプティカルフロー、視差、インスタンスセグメンテーションを推定するための深層畳み込みニューラルネットワークを用いる。
• 複数の幾何学的エネルギー関数（光度、フロー、剛体運動項を含む）を用いて、シーンフロー推定をエネルギー最小化問題として定式化する。
• エネルギー関数はガウス＝ニュートン解法により最小化され、この解法はエンドツーエンドのバックプロパゲーションとGPUアクセラレーションを可能にする再帰的ニューラルネットワーク層にアンロールされる。
• 解法により、同一インスタンスに属するピクセルが同一の3次元剛体運動を共有することを強制し、物体境界にわたる構造的整合性を確保する。
• 視覚的キュー抽出と最適化を含む全パイプラインはGPU上に実装され、リアルタイム推論が可能である。
• 最適化ステップが微分可能であるため、視覚的キューとシーンフローの両方をエンドツーエンドで同時に学習可能である。

実験結果

リサーチクエスチョン

• RQ1 学習された視覚的キューと幾何的事前知識を統合した深層構造的モデルは、3次元シーンフロー推定において優れた精度と速度を達成できるか？
• RQ2 自律走行シナリオにおいて、動的物体および背景のシーンフロー推定に、剛体運動事前知識はどの程度効果的か？
• RQ3 微分可能最適化層を通じてフロー、視差、セグメンテーションキューを統合することで、運動の一貫性がどの程度向上し、オクルージョン誤差はどの程度低減されるか？
• RQ4 アンロールされたガウス＝ニュートン解法はGPU上で効率的に実装可能であり、高精度を維持したままリアルタイム推論を可能にするか？

主な発見

• DRISFはKITTIシーンフローデータセットにおいて、先行する最先端手法と比較してD1の外れ値率を43%、D2を32%、フロー外れ値を24%低減した。
• 本手法は、前回の最良モデルと比較して22%低いシーンフロー誤差を達成するとともに、実行時間は800倍高速であった。
• オプティカルフロー予測を正例に置き換えると、シーンフロー誤差が21%低減した。これは、フローモジュールの改善余地が著しいことを示している。
• ステレオ視差を正例に置き換えると誤差が8%低減した。これは、現在のパイプラインにおいてステレオ推定が主なボトルネックであることを示唆している。
• アブレーションスタディの結果、フロー項と剛体運動項を含めることで、前面物体の性能が向上するが、テクスチャが豊富な背景には光度項のみが最適であることが分かった。
• 本モデルは、ベースラインの深層学習手法と比較して、より鋭い物体境界を生成し、顕著にオクルージョン誤差を低減した。これは、構造的事前知識の有効性を示している。