[論文レビュー] FlowNet3D++: Geometric Losses For Deep Scene Flow Estimation

Zirui Wang, Shuda Li+3 more|arXiv (Cornell University)|Dec 3, 2019

Advanced Vision and Imaging参考文献 4被引用数 5

ひとこと要約

FlowNet3D++ は、FlowNet3D フレームワークに幾何的損失（点面距離およびコサイン角一致）を統合することで、KITTI データセットにおけるシーンフロー推定の精度を 57.85% から 63.43% まで向上させた。さらに、動的 3D 再構成ベンチマークを導入し、FlowNet3D より最大で 15.0% 低い再構成誤差、KillingFusion より 35.2% の改善を示した。

ABSTRACT

We present FlowNet3D++, a deep scene flow estimation network. Inspired by classical methods, FlowNet3D++ incorporates geometric constraints in the form of point-to-plane distance and angular alignment between individual vectors in the flow field, into FlowNet3D. We demonstrate that the addition of these geometric loss terms improves the previous state-of-art FlowNet3D accuracy from 57.85% to 63.43%. To further demonstrate the effectiveness of our geometric constraints, we propose a benchmark for flow estimation on the task of dynamic 3D reconstruction, thus providing a more holistic and practical measure of performance than the breakdown of individual metrics previously used to evaluate scene flow. This is made possible through the contribution of a novel pipeline to integrate point-based scene flow predictions into a global dense volume. FlowNet3D++ achieves up to a 15.0% reduction in reconstruction error over FlowNet3D, and up to a 35.2% improvement over KillingFusion alone. We will release our scene flow estimation code later.

研究の動機と目的

• 標準的な L2 損失を超えて、ポイントクラウドベースのシーンフロー推定の精度を向上させること。
• 古典的登録手法からの幾何的事前知識をディープラーニングに統合し、より良いフローより推定を実現すること。
• 個別の指標にとどまらず、動的 3D 再構成を用いた包括的なシーンフロー評価ベンチマークの構築。
• スパarsなシーンフロー予測を、密度の高いグローバルボリュームに統合するパイプラインの設計。
• 公開データセットを用いたアブレーションおよび比較実験を通じて、幾何的制約の有効性を検証すること。

提案手法

• ICP にインspired された点面（pp）損失項を導入し、予測フローベクトルと隣接点が定める平面との垂直距離をペナルティ化する。
• コサイン距離（cos）損失を適用し、予測フローベクトルと真値との間の角度一致を強制することで、方向精度を向上させる。
• L2、pp、cos 損失を併用して訓練することで、大きさと方向の両方の精度を同時に最適化する。
• スパースなシーンフロー予測を、可変ボリューム更新戦略を用いてグローバルな密度の高いボリューム再構成に統合する、新規の統合パイプラインを提案。
• 幾何的損失の組み合わせの収束性と安定性を評価するため、200 エポックにまで延長したマルチステージトレーニングスケジュールを採用。
• Kitti、Snoopy、Duck データセットを評価に用い、真値メッシュを用いて定量的な再構成誤差分析を実施。

実験結果

リサーチクエスチョン

• RQ1 点面距離や角度一致といった幾何的制約は、L2 損失を超えてディープシーンフロー推定を向上させられるか？
• RQ2 幾何的損失は 3D シーンフローネットワークの訓練収束性および安定性にどのように影響するか？
• RQ3 動的 3D 再構成は、個別の指標に比べ、より包括的かつ実用的なシーンフロー推定ベンチマークとして機能できるか？
• RQ4 シーンフロー予測を密度の高いボリュームに統合することで、再構成品質に測定可能な向上が得られるか？
• RQ5 シーンフロー精度と再構成忠実度を最大化するための幾何的損失の最適な組み合わせは何か？

主な発見

• L2 損失に加え、点面（pp）損失とコサイン（cos）損失を組み合わせることで、KITTI データセットにおけるシーンフロー精度が 57.85% から 63.43% に向上した。
• 幾何的損失の組み合わせにより、訓練の収束性と安定性が向上し、L2 または単一の幾何的損失でのみ訓練されたモデルとは異なり、200 エポックでも性能向上が継続した。
• 動的 3D 再構成において、FlowNet3D++ は FlowNet3D より平均再構成誤差を最大で 15.0% 減少させた。
• Snoopy および Duck データセットにおいて、FlowNet3D++ は KillingFusion に比べて再構成誤差で最大 35.2% の改善を達成した。
• アブレーションスタディの結果、pp と cos 損失の組み合わせが最良のパフォーマンスを示し、特に 200 エポックにまで訓練を延長した場合に顕著であった。
• 提案された平均角度誤差指標は、方向のずれを効果的に捉えており、EPE のみに依存する評価では明らかにならなかった、フローベクトル方向精度の限界を明らかにした。