[論文レビュー] CC-3DT: Panoramic 3D Object Tracking via Cross-Camera Fusion

Tobias Fischer, Yung-Hsu Yang+3 more|arXiv (Cornell University)|Dec 2, 2022

Video Surveillance and Tracking Methods被引用数 14

ひとこと要約

CC-3DTは、時間的関連付けの前に複数のカメラからの3D検出結果と外観特徴を統合するパノラマ3Dオブジェクトトラッキング手法を提案する。このアプローチにより、クロスカメラ間および時間的トラッキングが統合的に行われ、IDスイッチの低減と運動モデルの向上が実現され、同じ3D検出器を用いた従来のカメラベース手法と比較して、NuScenesベンチマークでAMOTAが12.6%向上し、新たなSOTAを達成した。

ABSTRACT

To track the 3D locations and trajectories of the other traffic participants at any given time, modern autonomous vehicles are equipped with multiple cameras that cover the vehicle's full surroundings. Yet, camera-based 3D object tracking methods prioritize optimizing the single-camera setup and resort to post-hoc fusion in a multi-camera setup. In this paper, we propose a method for panoramic 3D object tracking, called CC-3DT, that associates and models object trajectories both temporally and across views, and improves the overall tracking consistency. In particular, our method fuses 3D detections from multiple cameras before association, reducing identity switches significantly and improving motion modeling. Our experiments on large-scale driving datasets show that fusion before association leads to a large margin of improvement over post-hoc fusion. We set a new state-of-the-art with 12.6% improvement in average multi-object tracking accuracy (AMOTA) among all camera-based methods on the competitive NuScenes 3D tracking benchmark, outperforming previously published methods by 6.5% in AMOTA with the same 3D detector.

研究の動機と目的

• 限られたクロスカメラ関連付けにより生じる不一致な3Dオブジェクトトラッキングの課題に対処すること。
• 時間的関連付けの前に複数のカメラからの3D検出結果を統合することで、トラッキングの整合性を向上させ、IDスイッチを低減すること。
• 特にカメラの視野に新たに出現するオブジェクトに対して、複数カメラの軌跡情報を活用して運動モデルを強化すること。
• NuScenes や Waymo Open のような大規模ベンチマークにおいて、カメラベース3Dマルチオブジェクトトラッキングの新たなSOTAを確立すること。

提案手法

• 各カメラビューごとに独立して3Dオブジェクト検出と外観特徴抽出を実行する。
• 3D検出結果と特徴量をカメラ座標系からワールド座標系に変換し、3D非最大抑制を用いて統合する。
• 運動および外観の手がかりを用いて、全カメラおよび時間軸にわたる検出結果を統一的なトラッキングコンponentが関連付ける。
• クロスカメラ関連付けにより、運動モデルの精度が向上し、新規に出現するオブジェクトに対しても検出品質の向上が見られる。
• 複数カメラにわたる軌跡情報をもとにした運動モデルを用いることで、トラッキングの整合性が向上する。
• フレームワークはモジュラーであり、Faster R-CNN、DETR3D、BEVFormerなどのさまざまな3D検出器と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 関連付けの前に行うクロスカメラ3D検出結果の統合が、事後的統合と比較して3Dマルチオブジェクトトラッキング性能を顕著に向上させるか。
• RQ2 クロスカメラと時間的関連付けを統合することで、運動モデルの精度とトラッキングの整合性にどのような影響を与えるか。
• RQ3 クロスカメラ統合が、パノラマ3DトラッキングにおけるIDスイッチの低減と軌跡の滑らかさ向上にどの程度寄与するか。
• RQ4 複数カメラからの検出結果を統合する統一されたトラッキングコンponentが、単一カメラベースラインや既存のマルチカメラトラッキング手法を上回る性能を発揮できるか。
• RQ5 提案手法が、NuScenesおよびWaymo Openの両データセットでSOTAを達成し、メトリクス全体にわたり一貫した改善を示すか。

主な発見

• CC-3DTは、同じ3D検出器（DETR3D）を用いた場合、NuScenes検証セットで42.9%のAMOTAを達成し、以前のSOTAであるMUTR3Dを12.6%上回った。
• より強力なBEVFormer検出器を用いた場合、CC-3DTはMUTR3Dに対してAMOTAを13.5%向上させ、検出器タイプにかかわらず一貫した優位性を示した。
• Waymo Openベンチマークでは、CC-3DTは0.3のIoU閾値でMOTAが20.32%、不一致率が6.9%を記録し、全体的および関連付け性能の両面でQD-3DTを上回った。
• Faster R-CNN検出器を用いた場合、CC-3DTはNuScenes検証セットでIDスイッチ数2536を記録し、優れた関連付け精度を示した。
• 同じ検出器を用いた場合、AMOTPは1.498（MUTR3D）から1.433に低下し、より正確な3Dバウンディングボックス予測が可能になった。
• クロスカメラ運動モデルは、MUTR3Dで用いられたカルマンフィルターベースラインを上回り、検出再現率が低い状況でもIDスイッチを低減するなど、トラッキング性能を顕著に向上させた。