[論文レビュー] DytanVO: Joint Refinement of Visual Odometry and Motion Segmentation in Dynamic Environments

Shihao Shen, Yilin Cai+2 more|arXiv (Cornell University)|Sep 17, 2022

Robotics and Sensor-Based Localization被引用数 6

ひとこと要約

DytanVO は、反復的な最適化によって光流、ポーズ、動的物体マスクを同時に改善することで、動的環境下でのカメラ自己移動と動き分離を共同で最適化する教師あり学習ベースのビジュアルオドメトリーシステムである。実世界の動的データセットにおいて、最先端の VO メソッドよりも平均で 27.7% の ATE の向上を達成しており、微調整なしにバックエンド最適化を施した SLAM システムでさえも上回っている。

ABSTRACT

Learning-based visual odometry (VO) algorithms achieve remarkable performance on common static scenes, benefiting from high-capacity models and massive annotated data, but tend to fail in dynamic, populated environments. Semantic segmentation is largely used to discard dynamic associations before estimating camera motions but at the cost of discarding static features and is hard to scale up to unseen categories. In this paper, we leverage the mutual dependence between camera ego-motion and motion segmentation and show that both can be jointly refined in a single learning-based framework. In particular, we present DytanVO, the first supervised learning-based VO method that deals with dynamic environments. It takes two consecutive monocular frames in real-time and predicts camera ego-motion in an iterative fashion. Our method achieves an average improvement of 27.7% in ATE over state-of-the-art VO solutions in real-world dynamic environments, and even performs competitively among dynamic visual SLAM systems which optimize the trajectory on the backend. Experiments on plentiful unseen environments also demonstrate our method's generalizability.

研究の動機と目的

• 動的環境下で移動する物体が自己移動推定を妨げるという学習ベースの VO の限界を解消すること。
• 動的物体の除去にためのセマンティックセグメンテーションへの依存を克服すること。これは、未学習のカテゴリでは失敗し、静的物体と移動可能な物体を混同するためである。
• 自己移動推定と動き分離の相互依存関係を、教師ありフレームワークにおける共同最適化によって活用すること。
• バックエンドのトラジェクトリ最適化を必要とせず、リアルタイムかつエンドツーエンドで学習可能なシステムを構築すること。
• 未観測の環境への一般化能力と、急激なカメラ運動や高密度の動的物体が存在する状況におけるロバスト性を示すこと。

提案手法

• フレームワークは3段階のアーキテクチャを採用する：初期の光流推定のためのマッチングネットワーク、自己移動推定のためのポーズネットワーク、動的領域分類のための動き分離ネットワーク。
• 各反復的改善ステップにおいて、動的領域にマスクを適用して光流をゼロに設定し、運動の影響を分離する。
• ポーズネットワークとセグメンテーションネットワークを複数回の反復で逐次最適化するが、マッチングネットワークは一度だけ実行することでリアルタイム性能を維持する。
• 合成データを用いた教師あり学習により訓練することで、微調整なしに実世界の動的シーンに一般化可能である。
• 反復的改善により、リアルタイム制約のもとで自己移動推定と動き分離の両方が迅速に収束する。
• 自己移動補正後の残差光流に基づいて、動的物体マスクを更新することで、反復回数を重ねるごとに分離精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 自己移動推定と動き分離の共同最適化は、動的ビジュアルオドメトリにおける性能向上に寄与するか？
• RQ2 教師あり学習アプローチは、未学習の動的環境への一般化において、自己教師ありまたは非教師あり手法を上回るか？
• RQ3 ポーズとセグメンテーションの反復的改善は、リアルタイムデプロイに十分な速さで収束するか？
• RQ4 極めて動的であるシーンにおいて、最先端の VO や SLAM システムと比較して本手法はどのように性能を発揮するか？
• RQ5 動的物体がシーンを支配するか、カメラの運動が極めて小さい場合、システムの失敗モードは何か？

主な発見

• KITTI オドメトリーデータセットにおいて、DytanVO は微調整なしに、2番目に良い VO メソッドよりも平均で 27.7% の ATE の向上を達成した。
• AirDOS-Shibuya データセットにおいて、DytanVO は RoadCrossing VI や VII といった極めて動的であるシーケンスでもトラッキングを維持する唯一の学習ベースの VO であり、すべてのベースラインが失敗している。
• 急激なカメラ運動と大きな動的物体を伴うシーケンスでは、DytanVO は AirDOS や VDO-SLAM、DynaSLAM といった動的 SLAM システムを 80% 以上の ATE の向上で上回った。
• 高速で移動する車両や大きな動的物体が存在するシーケンス、例えば KITTI のシーケンス 10 においても、DytanVO は唯一トラッキングを維持した。
• バックエンド最適化を施した SLAM システム DROID-SLAM と同等の性能を発揮したが、トラジェクトリ最適化を用いていないにもかかわらずである。
• すべての前景物体が動いている状況で背景が模様のない場合、光流が完全にマスクされてしまうため、推定が発散する。