[論文レビュー] No Blind Spots: Full-Surround Multi-Object Tracking for Autonomous Vehicles using Cameras & LiDARs

Akshay Rangesh, Mohan M. Trivedi|arXiv (Cornell University)|Feb 23, 2018

Video Surveillance and Tracking Methods参考文献 25被引用数 19

ひとこと要約

本論文では、自動運転車両向けにカメラとLiDARデータを融合させ、3次元世界座標空間で車両を追跡するモジュラーなフルサブアラウンドマルチオブジェクト追跡フレームワーク、M3OTを提案する。2次元追跡・検出手法を拡張し、マルコフ意思決定過程とセンサーフュージョンを組み合わせることで、複数のカメラとセンサーモダリティにわたる堅牢で長時間にわたる追跡を実現し、視覚のみまたはIPMベースの手法を上回る精度と安定性を達成した。

ABSTRACT

Online multi-object tracking (MOT) is extremely important for high-level spatial reasoning and path planning for autonomous and highly-automated vehicles. In this paper, we present a modular framework for tracking multiple objects (vehicles), capable of accepting object proposals from different sensor modalities (vision and range) and a variable number of sensors, to produce continuous object tracks. This work is a generalization of the MDP framework for MOT, with some key extensions - First, we track objects across multiple cameras and across different sensor modalities. This is done by fusing object proposals across sensors accurately and efficiently. Second, the objects of interest (targets) are tracked directly in the real world. This is a departure from traditional techniques where objects are simply tracked in the image plane. Doing so allows the tracks to be readily used by an autonomous agent for navigation and related tasks. To verify the effectiveness of our approach, we test it on real world highway data collected from a heavily sensorized testbed capable of capturing full-surround information. We demonstrate that our framework is well-suited to track objects through entire maneuvers around the ego-vehicle, some of which take more than a few minutes to complete. We also leverage the modularity of our approach by comparing the effects of including/excluding different sensors, changing the total number of sensors, and the quality of object proposals on the final tracking result.

研究の動機と目的

• 異種センサ入力を用いた自動運転車両における長時間にわたるフルサブアラウンドマルチオブジェクト追跡の課題に対処すること。
• 従来の2次元画像平面での追跡の限界を克服し、直接的に3次元世界座標空間でオブジェクトを追跡することで、ナビゲーションと計画の向上を図ること。
• カメラの数やオプションのLiDARを可変として扱えるモジュラーでスケーラブルなフレームワークを構築すること。
• センサーフュージョン方式、投影手法、検出器の品質が、実際の高速道路環境下での追跡性能に与える影響を評価すること。

提案手法

• フレームワークは、オブジェクトの寿命を逐次的意思決定プロセスとしてモデル化するマルコフ意思決定過程（MDPs）に基づく追跡・検出アプローチを採用する。
• データ関連付けは、外観、運動、幾何的特徴などの複数の類似度指標を統合する学習済みポリシーを用いて実行される。
• カメラとLiDARからのオブジェクト候補は、キャリブレーション済みのマルチカメラシステムを介して早期に統合され、LiDAR点群が正確な3次元位置特定に使用される。
• 2種類の投影方式が評価された：LiDARベースの3次元投影と、逆投影マッピング（IPM）を用いた画像平面への投影。
• 動的センサ構成がサポートされており、カメラやLiDARの追加・削除が可能で、モularityと耐障害性を評価できる。
• グローバル位置ベースの特徴（φ13, φ14）が導入され、最後に確認されたターゲット位置から遠い候補を除外することで、失われた状態でのデータ関連付けを改善する。

実験結果

リサーチクエスチョン

• RQ1 複数の視点カメラとLiDARの統合は、フルサブアラウンド自動運転シナリオにおける長時間追跡性能をどのように向上させるか？
• RQ2 異なる2次元から3次元への投影方式（LiDARベース対IPM）は、追跡の正確性と安定性にどのような影響を与えるか？
• RQ3 複数のセンサモダリティからの候補統合は、視覚のみのシステムと比較して追跡の耐障害性をどのように向上させるか？
• RQ4 検出器の品質や候補の信頼性の変動に対して、トラッカーがどの程度感度が低いか？
• RQ5 グローバル位置ベースの特徴の導入は、失われた状態での追跡にどのように寄与するか？

主な発見

• LiDARベースの統合方式は距離ベースの統合手法を著しく上回り、特にIPM投影と組み合わせた場合、トラック断片化が減少し、一部の構成でMOTAが最大15%向上した。
• LiDAR点群を用いた3次元投影では、IPMベースの投影（MOTP: 2.10）と比較して、はるかに安定したトラック（MOTP: 1.25）が得られ、位置特定の正確性が向上した。
• 2台から6台までのカメラ数の変動に対しても、高い性能を維持しており、異なるセンサ設定へのモularityと適応性が裏付けられた。
• データセットにトレーニングされていない劣化した2次元検出器を用いても、MOTAスコアが常に75%以上を維持したため、検出器の誤りに対して高い耐障害性を示した。
• グローバル位置ベースの特徴（φ13, φ14）を統合することで、すべての指標で顕著な改善が得られ、再発見時の誤関連を効果的にフィルタリングする価値があることが確認された。
• 本システムは、複雑な数分にわたるマニューバーを経ても車両を正常に追跡でき、長時間にわたる現実世界の自動走行における能力を実証した。