[論文レビュー] Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving

Peiliang Li, Tong Qin+1 more|arXiv (Cornell University)|Jul 5, 2018

Robotics and Sensor-Based Localization参考文献 28被引用数 10

ひとこと要約

本論文は、2次元オブジェクト検出、視点分類、スパarsな特徴追跡を密に統合したステレオビジョンベースのシステムを提案する。これにより、動的ドライブシーンにおいて、ロバストで時間的に一貫性のある3次元セマンティックオブジェクトおよび自己運動の追跡が可能になる。セマンティック事前知識と動的オブジェクトバndlle調整、および運動学的運動モデルを融合することで、時間的整合性が高く、正確なインスタンスレベルの3次元オブジェクトポーズと速度推定が達成され、自己運動と3次元局所化精度の両面で最先端手法を上回る性能を発揮する。

ABSTRACT

We propose a stereo vision-based approach for tracking the camera ego-motion and 3D semantic objects in dynamic autonomous driving scenarios. Instead of directly regressing the 3D bounding box using end-to-end approaches, we propose to use the easy-to-labeled 2D detection and discrete viewpoint classification together with a light-weight semantic inference method to obtain rough 3D object measurements. Based on the object-aware-aided camera pose tracking which is robust in dynamic environments, in combination with our novel dynamic object bundle adjustment (BA) approach to fuse temporal sparse feature correspondences and the semantic 3D measurement model, we obtain 3D object pose, velocity and anchored dynamic point cloud estimation with instance accuracy and temporal consistency. The performance of our proposed method is demonstrated in diverse scenarios. Both the ego-motion estimation and object localization are compared with the state-of-of-the-art solutions.

研究の動機と目的

• エンドツーエンドの3次元オブジェクト検出の限界、特に重い3次元アノテーションの必要性と、動的ドライブシーンにおける時間的一致性の欠如を解決すること。
• 動的環境における自己運動推定のロバスト性を、動く物体に対して耐性を持つオブジェクトに特化したカメラポーズ追跡によって向上させること。
• セマンティック測定と幾何的測定を統合した密な最適化フレームワークにより、時間的一致性のある3次元オブジェクト状態推定（ポーズ、速度、スパース点群）を実現すること。
• 運動モデルと特徴幾何制約を用いて、近距離および遠距離のオブジェクト、特に著しく切断されたり遮られたりしたケースに対しても、正確で安定した追跡を可能とすること。
• 多様な実世界のドライブシナリオにおいて、最先端手法と定量的に比較することで、本システムの実用性を示すこと。

提案手法

• 本システムは、2次元オブジェクト検出と離散的視点分類に基づく軽量な3次元ボックス推論手法を用い、初期の3次元オブジェクト測定と遮蔽マスクを生成する。
• 動的オブジェクトをカメラポーズ推定から分離するオブジェクトに特化したビジュアルオドメトリフレームワークを採用し、ごみごみしたシーンでもロバストな自己運動追跡を保証する。
• 時間的スパース特徴対応とセマンティック3次元測定を統合する、新規の動的オブジェクトバndlle調整（BA）アプローチを提案し、オブジェクト状態とカメラポーズを同時に最適化する。
• 検出された車両に運動学的運動モデルを適用し、特に遠距離または可視性が低いオブジェクトにおいても、一貫性のある方向と速度推定を実現する。
• 階層的な最適化パイプラインを用いて、セマンティック測定、特徴観測、運動モデル、点群アライメントを統合し、3次元オブジェクト推定を精緻化する。
• 本フレームワークは、極端な状況（深刻な遮蔽や切断）であっても、時間的一致性を持つインスタンスレベルの追跡を実現するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 2次元検出と視点分類に基づく軽量な3次元オブジェクト推論手法は、密度の高い3次元アノテーションを必要とせず、時間的一致性を保ちながら正確な3次元オブジェクト推定を達成できるか？
• RQ2 セマンティック事前知識と幾何的特徴制約をどのように密に統合することで、動的シーン条件下での3次元オブジェクト追跡の時間的一致性を向上させられるか？
• RQ3 運動学的運動モデルは、遠距離または観測が不十分な車両の3次元オブジェクト追跡の安定性をどの程度向上させられるか？
• RQ4 オブジェクトに特化したカメラ追跡を活用することで、動的オブジェクトが存在する状況でも自己運動推定をロバストに維持できるか？
• RQ5 複数の情報源（セマンティック、特徴、運動、点群）の統合は、さまざまなオブジェクトの難易度レベルに応じて、3次元オブジェクト局所化精度にどのような影響を与えるか？

主な発見

• 提案手法は、容易（easy）、中程度（moderate）、困難（hard）なオブジェクトカテゴリに対して、それぞれ平均3次元局所化誤差が5.9%、6.1%、6.3%であり、真の陽性の半数以上が5%未満の誤差に収束している。
• 本システムは、容易なオブジェクトに対して、鳥眼視点（IoU=0.25）で88.07%の平均精度（AP）、3次元ボックスAP（IoU=0.25）で86.57%を達成し、すべての情報源を統合した場合、3DOPを多くの指標で上回る性能を示した。
• 特徴観測を追加することで、近距離オブジェクトの性能が著しく向上（例：容易なオブジェクトで鳥眼視点APが+10%向上）、一方で運動モデルは遠距離または小さなオブジェクトの精度向上に寄与した。
• 2次元検出のみでは失敗する極端な切断状況でも、時間的幾何制約と運動モデルのおかげで、本システムは一貫した追跡を維持できた。
• セマンティック、特徴、運動、点群の全モジュールを統合したフルシステムは、1フレームあたり173msの推論時間を達成し、リアルタイム実行の可能性を示した。
• 本手法は動的環境に対して強くロバストであり、オブジェクトに特化したカメラ追跡のおかげで、動く物体が存在しても自己運動推定に影響を受けることがなかった。