[論文レビュー] Robust Multi-Modality Multi-Object Tracking

Wenwei Zhang, Hui Zhou+4 more|arXiv (Cornell University)|Sep 9, 2019

Video Surveillance and Tracking Methods参考文献 49被引用数 13

ひとこと要約

本論文は、画像とLiDAR点群特徴を新規の融合モジュールと隣接推定器を用いて統合することで、信頼性と正確性の両方を向上させる、センサに依存しないエンドツーエンドのマルチモダリティ・マルチオブジェクトトラッキングフレームワークmmMOTを提案する。本フレームワークは、モダリティ固有の特徴抽出器とクロスモダリティ連関を同時に最適化することでKITTIベンチマークでSOTA性能を達成し、MOTにおけるデータ連関に深層点群表現を初めて用いる。

ABSTRACT

Multi-sensor perception is crucial to ensure the reliability and accuracy in autonomous driving system, while multi-object tracking (MOT) improves that by tracing sequential movement of dynamic objects. Most current approaches for multi-sensor multi-object tracking are either lack of reliability by tightly relying on a single input source (e.g., center camera), or not accurate enough by fusing the results from multiple sensors in post processing without fully exploiting the inherent information. In this study, we design a generic sensor-agnostic multi-modality MOT framework (mmMOT), where each modality (i.e., sensors) is capable of performing its role independently to preserve reliability, and further improving its accuracy through a novel multi-modality fusion module. Our mmMOT can be trained in an end-to-end manner, enables joint optimization for the base feature extractor of each modality and an adjacency estimator for cross modality. Our mmMOT also makes the first attempt to encode deep representation of point cloud in data association process in MOT. We conduct extensive experiments to evaluate the effectiveness of the proposed framework on the challenging KITTI benchmark and report state-of-the-art performance. Code and models are available at https://github.com/ZwwWayne/mmMOT.

研究の動機と目的

• 自律走行の認識における信頼性と正確性のトレードオフを解消するため、マルチセンサ・マルチモダリティトラッキングシステムを設計すること。
• 既存のMOTフレームワークにおける単一センサ依存の限界を克服し、特にセンサ障害や悪悪条件下でも性能を維持すること。
• 特に、データ連関に深層点群表現を組み込むことで、マルチモダリティ特徴の深層統合を可能にし、トラッキングの正確性を向上させること。
• 特徴抽出とクロスモダリティ連関を同時に最適化するエンドツーエンドで学習可能なフレームワークを構築し、より良い一般化性能を実現すること。
• 補完的センサモダリティを活用することで、遮蔽、長距離、悪光照条件などの困難な状況下でも耐障害性を確保すること。

提案手法

• 各モダリティ（カメラ、LiDAR、レーダ）が独立して特徴を抽出するセンサに依存しないフレームワークを設計し、センサ障害時でも信頼性を維持すること。
• 異なるセンサからの特徴を統合する新規のマルチモダリティ融合モジュールを導入し、その出力を隣接推定器に供給してクロスモダリティトラッキングを実現すること。
• モダリティ固有の特徴抽出器と隣接行列推定器を同時に最適化するエンドツーエンド学習を採用し、強固なクロスモダリティ連関を学習すること。
• PointNetを用いてLiDAR点群に深層表現学習を適用し、その特徴を直接データ連関プロセスに活用する。これはMOTにおける画期的なアプローチである。
• 相関計算には絶対値差分を、隣接推定モジュールのランク付けには加算を伴うソフトマックスを用いる。
• VGG-16におけるスキッププーリングを活用し、マルチスケール画像特徴を統合し、フリスツムベースの点群抽出にRRC-Netを用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチモダリティMOTフレームワークは、1つのセンサが故障した場合でも、統合によって優れた正確性を維持できるか？
• RQ2 従来のハンドクラフト特徴や画像のみの特徴と比較して、データ連関段階で深層点群表現を用いることはどの程度有効か？
• RQ3 特徴抽出器と隣接推定器をエンドツーエンドで同時に最適化することで、トラッキングの耐障害性と正確性はどの程度向上するか？
• RQ4 遮蔽、長距離、低照度などの困難な状況下で、融合モジュールの性能はいかがであるか？
• RQ5 1つのモデルが、センサ障害時を含め、単一モダリティおよびマルチモダリティ設定の両方で競争力のある性能を達成できるか？

主な発見

• mmMOTフレームワークは、画像と点群モダリティのみを用いたオンライン設定において、KITTIトラッキングベンチマークでSOTA性能を達成した。
• 単一モダリティ動作（例：カメラのみ）時でも、競争力のある性能を示し、マルチモダリティ設定と比較して僅か0.28%の性能低下にとどまった。
• 故障分析の結果、統合により高遮蔽や長距離条件下でのIDスイッチが顕著に減少し、単一モダリティトラッカーが頻繁に失敗する状況でも優れた性能を示した。
• 点群モダリティは、スパースまたは遮蔽状態のシナリオにおいてより高い耐障害性を示したが、小さな物体や遠方の物体では点群密度が低いため、その影響を受ける傾向にあった。
• 単一モダリティベースラインと比較して、遮蔽や長距離トラッキングにおいてより耐障害性に優れており、融合モジュールが困難なケースでの誤りを効果的に低減した。
• データ連関に深層点群特徴を用いることで、視覚的ヒントが弱いか曖昧な状況でもトラッキングの一貫性が向上した。