[論文レビュー] FlowMOT: 3D Multi-Object Tracking by Scene Flow Association

Guangyao Zhai, Xin Kong+3 more|arXiv (Cornell University)|Dec 14, 2020

Video Surveillance and Tracking Methods参考文献 29被引用数 10

ひとこと要約

FlowMOT は、学習ベースのシーンフロー推定を活用して物体の運動を予測し、トラッキングのロバスト性を向上させる LiDAR を用いた 3D 多対象追跡フレームワークを提案する。従来のカルマンフィルタをフローパラメータから得られる運動予測に置き換え、データアソシエーションにはハンガリアン法を用いることで、固定ハイパーパrameterに起因する失敗を避ける高精度な性能を達成し、KITTI MOT においても特に高速移動や可変フレームレートの状況で最先端の性能を発揮する。

ABSTRACT

Most end-to-end Multi-Object Tracking (MOT) methods face the problems of low accuracy and poor generalization ability. Although traditional filter-based methods can achieve better results, they are difficult to be endowed with optimal hyperparameters and often fail in varying scenarios. To alleviate these drawbacks, we propose a LiDAR-based 3D MOT framework named FlowMOT, which integrates point-wise motion information with the traditional matching algorithm, enhancing the robustness of the motion prediction. We firstly utilize a scene flow estimation network to obtain implicit motion information between two adjacent frames and calculate the predicted detection for each old tracklet in the previous frame. Then we use Hungarian algorithm to generate optimal matching relations with the ID propagation strategy to finish the tracking task. Experiments on KITTI MOT dataset show that our approach outperforms recent end-to-end methods and achieves competitive performance with the state-of-the-art filter-based method. In addition, ours can work steadily in the various-speed scenarios where the filter-based methods may fail.

研究の動機と目的

• エンドツーエンドの 3D MOT 手法に起因する低精度および一般化性能の低さを是正すること。
• 従来のフィルタベース 3D MOT におけるハイパーパrameterへの感受性および固定された運動モデルの問題を克服し、特に物体の速度が変動する状況で改善を図ること。
• 可変フレームレートやフレームドロップが生じる実世界の状況において、標準のカルマンフィルタベース手法が失敗するのを防ぐトラッキングのロバスト性を向上させること。
• 深層学習ベースのシーンフロー推定を 3D MOT パipラインに統合し、より正確で適応性のある運動予測を実現すること。
• カテゴリに依存しないハイパーパrameterチューニングを必要とせず、さまざまな物体カテゴリ（例：車両と歩行者）に一般化可能なフレームワークを構築すること。

提案手法

• 連続する LiDAR フレーム間の点群ごとの運動を推定するため、シーンフローネットワーク（FlowNet3D）を用い、暗黙の運動一貫性を捉える。
• 各検出領域の点群内でのシーンフローのベクトルを集約し、手動で設計された運動モデルに依存せずに、オブジェクトレベルの運動予測を導出する。
• IoU と運動の一貫性に基づき、前フレームのトラックレットと現在フレームの新しい検出結果を照合するためにハンガリアン法を適用する。
• 予測された運動を活用して、トラックアイデンティティをフレーム間で維持する ID 伝搬戦略を採用し、データアソシエーションを改善する。
• トラックバイ検出の枠組みに従い、深層学習ベースの運動推定と古典的手法のマッチングアルゴリズムを統合することで、ロバストなトラッキングを実現する。
• システムは KITTI MOT でエンドツーエンドに学習され、シーンフローの予測は検出や再識別ではなく、運動モデル化の目的でのみ使用される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの学習のみに依存する手法と比較して、学習ベースのシーンフロー推定は 3D MOT の性能向上に寄与するか？
• RQ2 カルマンフィルタの運動モデルをフローベースの予測に置き換えることで、可変速度または低フレームレートの状況におけるロバスト性が向上するか？
• RQ3 1つの統一された運動モデルが、車両や歩行者といった多様な物体カテゴリに、カテゴリ固有のハイパーパrameterチューニングなしに一般化可能か？
• RQ4 シーンフローの統合は、複雑なトラッキング状況におけるデータアソシエーションの正確性をどのように向上させるか？
• RQ5 シーンフローに基づく運動予測は、3D MOT における手動によるハイパーパラメータチューニングへの依存度をどの程度低減するか？

主な発見

• FlowMOT は KITTI MOT のバリデーションセットにおいて、mmMOT (ICCV '19) や FANTrack (IV '19) を大きく上回り、特に sAMOTA の観点で顕著な優位性を示す。
• 車両カテゴリでは、AB3DMOT (IROS '20) と同等の性能を発揮し、より厳しい IoU しきい値下でも、より正確な検出ベースの ID 伝搬により上回る。
• 歩行者カテゴリでは、AB3DMOT が固定された運動モデルにより歩行者のダイナミクスに対応できず性能が低下するのに対し、FlowMOT は学習されたフローにより自然に適応し、優れた性能を発揮する。
• 高精度な速度や低フレームレートの状況（5Hz のサンプリングでシミュレート）では、FlowMOT は安定した性能を維持するが、AB3DMOT は固定された共分散行列のチューニングに起因し、顕著な性能低下を示す。
• フィルタベース手法とは異なり、異なる物体タイプに対してハイパーパラメータの再チューニングを必要としないため、物体カテゴリ間での一般化性能が優れている。
• 定性的な結果から、FlowMOT はフレームドロップや高速移動の状況でも物体を正常に追跡でき、AB3DMOT が剛体運動仮定に起因して失敗するのを回避していることが示された。