[論文レビュー] Monocular Quasi-Dense 3D Object Tracking

Hou-Ning Hu, Yung-Hsu Yang+4 more|arXiv (Cornell University)|Mar 12, 2021

Video Surveillance and Tracking Methods被引用数 7

ひとこと要約

本論文は、準密度類似度学習、3次元バウンディングボックスの深度順序ヒューリスティクス、およびLSTMベースの速度モジュールを活用することで、自己運動推定を伴う単眼カメラ映像からのロバストな3次元トラッキングを可能にする、単眼準密度3次元オブジェクトトラッキングフレームワークを提案する。本手法はnuScenesで最先端の性能を達成（先行するビジョンオンリーメソッド比で5倍の精度向上）し、Waymo Open 3Dトラッキングベンチマークにおいて初のカメラオンリーベースラインを確立した。

ABSTRACT

A reliable and accurate 3D tracking framework is essential for predicting future locations of surrounding objects and planning the observer's actions in numerous applications such as autonomous driving. We propose a framework that can effectively associate moving objects over time and estimate their full 3D bounding box information from a sequence of 2D images captured on a moving platform. The object association leverages quasi-dense similarity learning to identify objects in various poses and viewpoints with appearance cues only. After initial 2D association, we further utilize 3D bounding boxes depth-ordering heuristics for robust instance association and motion-based 3D trajectory prediction for re-identification of occluded vehicles. In the end, an LSTM-based object velocity learning module aggregates the long-term trajectory information for more accurate motion extrapolation. Experiments on our proposed simulation data and real-world benchmarks, including KITTI, nuScenes, and Waymo datasets, show that our tracking framework offers robust object association and tracking on urban-driving scenarios. On the Waymo Open benchmark, we establish the first camera-only baseline in the 3D tracking and 3D detection challenges. Our quasi-dense 3D tracking pipeline achieves impressive improvements on the nuScenes 3D tracking benchmark with near five times tracking accuracy of the best vision-only submission among all published methods. Our code, data and trained models are available at https://github.com/SysCV/qd-3dt.

研究の動機と目的

• LiDARや深度センサを用いずに単眼動画からの正確でロバストな3次元オブジェクトトラッキングを可能にすること。
• 外れ視点変化、遮蔽、再識別といった長期間トラッキングの課題に、外観と運動の手がかりを用いて対処すること。
• 大規模な合成ドライブシミュレーションデータセットを活用して、スケーラブルでデータ集約的なトレーニングパイプラインを構築すること。
• Waymo Openデータセットにおける3次元トラッキングの強力なカメラオンリーベースラインを確立し、低コストの自動運転システムの発展を促進すること。

提案手法

• 単眼画像から3次元バウンディングボックスの属性（中心座標、深度、寸法、向き）を予測するマルチヘッドネットワークを採用する。
• 密なオブジェクト候補から特徴マップを生成するための準密度類似度学習を用い、特徴マッチングのロバスト性を向上させる。
• 深度順序ヒューリスティクスと運動ベースの3次元トラジェクトリ予測を適用し、遮蔽時および再識別時におけるインスタンス関連付けを強化する。
• 長期間のトラジェクトリ情報を集約するためのLSTMベースの速度学習モジュール（VeloLSTM）を統合し、運動外挿挿の精度を向上させる。
• 現実的な3次元トラジェクトリと動的メタデータを備えた大規模な合成シミュレーションデータセットを活用して、エンドツーエンドのトラッキングパイプラインをトレーニングする。
• 自己運動補正を用いて3次元オブジェクトポーズをワールド座標系に投影し、フレーム間でのトラッキング安定化を実現する。

実験結果

リサーチクエスチョン

• RQ1 スパースな正解ボックスではなく、密な候補を活用することで、準密度類似度学習が単眼トラッキングにおける3次元オブジェクト関連付けをどのように改善するか？
• RQ2 深度順序ヒューリスティクスと運動ベース予測は、3次元トラッキングにおける遮蔽および再識別をどれほど効果的に解消できるか？
• RQ3 実世界ベンチマークにおいて、LiDARベースの手法と比較して、単眼システムがどれほど競争力のある3次元トラッキング性能を達成できるか？
• RQ4 大規模な合成データセットは、実世界への展開を想定したロバストな単眼3次元トラッキングシステムのトレーニングに効果的に寄与できるか？
• RQ5 VeloLSTMによる長期間運動モデリングの統合は、3次元トラッキングにおける軌道予測精度を顕著に向上させるか？

主な発見

• 提案された準密度3次元トラッキングパイプラインは、nuScenes 3DトラッキングベンチマークでAMOTA@1.0が0.217を達成し、先行するビジョンオンリーメソッド（CenterTrack-Vision）の0.046と比較してほぼ5倍の性能向上を示した。
• KITTIトラッキングベンチマークではMOTAが84.52から86.41に向上し、公表済み手法の中で第3位を達成。前回バージョン比で5ランクの改善を記録した。
• 本フレームワークは、Waymo Open 3Dトラッキングベンチマークにおいて初のカメラオンリーベースラインを確立し、実世界の都市ドライブシナリオへの優れた一般化性能を示した。
• 合成シミュレーションデータセットは、有効な事前学習を可能にし、単眼3次元トラッキングのためのデータ集約的ディープラーニングパイプラインの開発を支援した。
• nuScenesおよびWaymoにおける定性的な結果から、複雑なシーンにおいても正確な3次元バウンディングボックス推定と一貫した軌道予測が可能である、ロバストな長期間トラッキングが実現された。