[論文レビュー] RAFT-3D: Scene Flow using Rigid-Motion Embeddings

Zachary Teed, Jia Deng|arXiv (Cornell University)|Dec 1, 2020

Advanced Vision and Imaging参考文献 54被引用数 5

ひとこと要約

RAFT-3D は、剛体運動埋め込みと微分可能 Dense-SE3 層を用いて幾何的整合性を強制することで、3次元シーンフロー推定のためのエンドツーエンドのディーブラーニングフレームワークを提案する。これは、インスタンスレベルの監視を必要とせず、FlyingThings3D において 3D 精度（δ<0.05）を 83.7% まで向上させ、KITTI では 5.77 EPE を達成し、先行手法を上回る性能を発揮する。

ABSTRACT

We address the problem of scene flow: given a pair of stereo or RGB-D video frames, estimate pixelwise 3D motion. We introduce RAFT-3D, a new deep architecture for scene flow. RAFT-3D is based on the RAFT model developed for optical flow but iteratively updates a dense field of pixelwise SE3 motion instead of 2D motion. A key innovation of RAFT-3D is rigid-motion embeddings, which represent a soft grouping of pixels into rigid objects. Integral to rigid-motion embeddings is Dense-SE3, a differentiable layer that enforces geometric consistency of the embeddings. Experiments show that RAFT-3D achieves state-of-the-art performance. On FlyingThings3D, under the two-view evaluation, we improved the best published accuracy (d &lt; 0.05) from 34.3% to 83.7%. On KITTI, we achieve an error of 5.77, outperforming the best published method (6.31), despite using no object instance supervision. Code is available at https://github.com/princeton-vl/RAFT-3D.

研究の動機と目的

• インスタンスレベルの監視（バウンディングボックスやセグメンテーションマスクなど）を必要としない、エンドツーエンドで微分可能な 3次元シーンフロー推定アーキテクチャの開発。
• 各画素ごとの剛体運動埋め込みを用いて、柔らかくグループ化されたピクセルを剛体物体としてモデル化し、3次元運動を密な SE3 フィールドとして表現すること。
• 未学習のガウス＝ニュートン反復を用いた最適化により、微分可能な最適化層（Dense-SE3）を介して、動きのフィールドにおける幾何的整合性を強制すること。
• FlyingThings3D や KITTI のような標準ベンチマークで精度を向上させるとともに、未学習の物体カテゴリへのゼロショット一般化能力を維持すること。
• バウンディングボックスやマスクの必要なしに、3次元シーンフローの真値から自己教師学習を可能にすること。

提案手法

• RAFT-3D は、2次元フローの代わりに SE3（特殊エウラー群）における密な 3次元運動フィールドを推定することを目的として、RAFT 光学フローフレームワークを拡張する。
• 視覚的類似性を画素ペア間で捉えるために、ステレオまたは RGB-D 画像ペアから抽出された特徴量に基づく 4次元相関ボリュームを構築する。
• GRU を用いた更新演算子を介して、密な SE3 動きの推定値のフィールドを維持・反復的に更新する。この演算子は、対応関係と埋め込みの更新を予測する。
• 剛体運動埋め込みは、各画素ごとのベクトルであり、類似した埋め込みは同じ 3次元運動を共有するピクセルを柔らかくグループ化する。
• Dense-SE3 は、現在の埋め込みと対応関係推定値を用いて、近隣のすべての画素ペアに対して最小二乗最適化問題を解くことで、幾何的整合性を微分可能に強制する層である。
• 逆深度の修正を統合し、必要に応じてバイラプラシアン平滑化層を適用することで、動きの境界における埋め込み集約を改善する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルの監視（バウンディングボックスやセグメンテーションマスクなど）を必要としない、微分可能でエンドツーエンドのディープニューラルネットワークが、正確な 3次元シーンフローを推定できるか？
• RQ2 剛体運動埋め込みは、柔らかくグループ化されたピクセルを剛体的に動く物体として効果的にモデル化できるか？ また、3次元運動フィールドにおける幾何的整合性を維持できるか？
• RQ3 微分可能な幾何的制約層（Dense-SE3）を統合することで、標準的な学習ベースのアプローチと比較して、3次元運動の精度が顕著に向上するか？
• RQ4 RAFT-3D の性能は、FlyingThings3D や KITTI のような標準ベンチマークで、特に未学習の物体カテゴリへのゼロショット一般化状況下で、最先端の手法を上回るか？
• RQ5 近隣半径、反復回数、バイラプラシアン平滑化などのアーキテクチャ的要素が、最終的な精度と頑健性に与える影響は何か？

主な発見

• 2視点評価において、FlyingThings3D で 3D 精度（δ<0.05）が 83.7% を達成し、前回の最高記録 34.3% から顕著な向上を示した。
• KITTI データセットでは、EPE が 5.77 を達成し、インスタンス監視を一切使用しないにもかかわらず、最高の公表済み手法（6.31）を上回った。
• アブレーションスタディの結果、256ピクセルの近隣半径を使用すると、より小さい半径や全画像最適化よりも優れた性能を示し、物体サイズに適した有用なインダクティブバイアスであることが示された。
• 更新演算子に逆深度の修正を組み込むことで、深度の一貫性を活用し、δ<0.05 が 84.6% から 87.1% に向上した。
• バイラプラシアン平滑化層は、δ<0.05 で 0.7%、δ<0.10 で 0.7% の閾値指標の向上をもたらし、平均 EPE に悪影響を与えることなく、動きの境界における整合性を向上させた。
• 4500万パラメータ、1枚の GTX 1080Ti GPU を用いた 540x960 解像度の画像で 386ms の推論時間で、最先端の結果を達成した。