[論文レビュー] Joint Monocular 3D Vehicle Detection and Tracking

Hou-Ning Hu, Qi-Zhi Cai+6 more|arXiv (Cornell University)|Nov 26, 2018

Video Surveillance and Tracking Methods参考文献 60被引用数 49

ひとこと要約

この論文は、深度認識データ同化、LSTMsを用いた3D運動モデリング、遮蔽処理を用いて、単眼のオンラインフレームワークを提案します。これにより、3D車両バウンディングボックスを同時検出し、時間とともに追跡します。評価は、GTAベースの合成データ、KITTI、Argoverseで行われました。

ABSTRACT

Vehicle 3D extents and trajectories are critical cues for predicting the future location of vehicles and planning future agent ego-motion based on those predictions. In this paper, we propose a novel online framework for 3D vehicle detection and tracking from monocular videos. The framework can not only associate detections of vehicles in motion over time, but also estimate their complete 3D bounding box information from a sequence of 2D images captured on a moving platform. Our method leverages 3D box depth-ordering matching for robust instance association and utilizes 3D trajectory prediction for re-identification of occluded vehicles. We also design a motion learning module based on an LSTM for more accurate long-term motion extrapolation. Our experiments on simulation, KITTI, and Argoverse datasets show that our 3D tracking pipeline offers robust data association and tracking. On Argoverse, our image-based method is significantly better for tracking 3D vehicles within 30 meters than the LiDAR-centric baseline methods.

研究の動機と目的

• LiDARやステレオ入力なしで、単眼動画からの3D車両検出と追跡を動機づけ、実現する。
• 3D車両レイアウトを同時に検出し、それらをフレーム間で結びつけるオンラインフレームワークを開発する。
• エゴモーション環境での追跡堅牢性を向上させるため、深度順序付けと遮蔽対応のデータ同化を活用する。
• 時間にわたって3D車両軌跡を外挿するためのLSTMベースのモーションモデルを導入する。
• データ量を要する3D追跖の学習を支援するため、地上真実の3D軌跡を含むGTAベースの合成データセットを作成する。

提案手法

• Faster R-CNNで2D候補を検出し、各オブジェクトの3D中心投影を回帰する。
• ROI特徴からCNNサブネットワークを用いて、3D中心投影を含むP, O, D, depth, そして3D中心投影を推定する。
• 世界座標系で3D軌道を形成し、深度順序整合と遮蔽対応のアソシエーションを用いてオンラインでオブジェクトを追跡する。
• 2つのLSTMで3Dモーションをモデル化する：速度と位置を予測するPrediction LSTM (P-LSTM)と、位置と速度を refine するUpdating LSTM (U-LSTM)。
• シングルフレームの3D推定を時間とともに統合して3D境界ボックスと軌跡を refined し、カメラ変換によるエゴモーションを考慮する。

実験結果

リサーチクエスチョン

• RQ1 エゴモーションセンサと組み合わせた場合、単眼動画は信頼性の高い3D車両のバウンディングボックスと軌跡を提供できるだろうか？
• RQ2 深度認識データ同化は、遮蔽とエゴモーション下でフレーム間の物体IDの一貫性の維持を改善するか？
• RQ3 単眼設定で、LSTMベースのモーションモデルは3D車両軌跡のKalmanフィルタによる平滑化を上回るか？
• RQ4 3D中心を画像に投影することは、追跡精度とID信頼性をどれだけ改善するか？
• RQ5 合成データと実世界データセットで、3D推定と追跡性能に対する学習データ規模の影響はどの程度か？

主な発見

• 提案されたフレームワークは、遮蔽対応の結合と深度順序付けを用いて、単眼動画からの堅牢な3D検出と追跁を実現し、アブレーション実験でミスマッチを6-8%低減した。
• LSTMベースのモーションモデルは、単一フレーム推定および3DカKalmanフィルタリングを、IoU閾値全体で3D IoU追跡精度において上回る。
• 3D中心の投影を画像へ投影することは、2D中心を用いる場合と比較して、IDスイッチや追跡の断片化を著しく低減する。
• 深度順序マッチングは、エゴモーションと遮蔽に対するデータ同化の堅牢性を向上させ、エンドツーエンド評価でMOTA/MOTP指標を改善する。
• より大規模なGTAベースの合成訓練データは、深度推定精度と3Dレイアウト品質の一貫した改善をもたらし、データを多く要するモデルの利点を示している。