[論文レビュー] ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking
ArTIST は、自然な運動の尤度を推定することでトラックレットをスコア付けし、欠落した検出の補間を可能にする確率的自己回帰生成モデルを提案する。幾何的情報のみを用いて MOTChallenge および JRDB ベンチマークで最先端の性能を達成し、追加のトレーニングや再識別モジュールなしに外見ベースの手法を上回る。
One of the core components in online multiple object tracking (MOT) frameworks is associating new detections with existing tracklets, typically done via a scoring function. Despite the great advances in MOT, designing a reliable scoring function remains a challenge. In this paper, we introduce a probabilistic autoregressive generative model to score tracklet proposals by directly measuring the likelihood that a tracklet represents natural motion. One key property of our model is its ability to generate multiple likely futures of a tracklet given partial observations. This allows us to not only score tracklets but also effectively maintain existing tracklets when the detector fails to detect some objects even for a long time, e.g., due to occlusion, by sampling trajectories so as to inpaint the gaps caused by misdetection. Our experiments demonstrate the effectiveness of our approach to scoring and inpainting tracklets on several MOT benchmark datasets. We additionally show the generality of our generative model by using it to produce future representations in the challenging task of human motion prediction.
研究の動機と目的
- 外見や再識別モデルに依存しない幾何学的スコアリング関数を、オンライン複数対象追跡用に堅牢に開発すること。
- 長期的な隠蔽や検出器の故障に起因する欠落検出を、自己回帰的補間により効果的に処理すること。
- 追跡データから直接自然な人間の運動の分布を学習し、将来の予測とトラックレットの一貫性の向上を可能にすること。
- 微調整や追加のデータ準備なしに、多様なドメインに一般化可能なスコアリング関数を実現すること。
- Tracktor++ からのバウンディングボックス精錬ヘッドと統合することで、トレーニングベンチマークにおける最先端の性能を達成すること。
提案手法
- モデルは、部分的な観測に基づいて軌道の尤度を推定する確率的自己回帰系列モデルを用い、自然な人間の運動の分布をモデル化する。
- 学習済みの運動分布から自己回帰的にサンプリングすることで、複数の妥当な将来の軌道完成を生成する。
- 観測された軌道セグメントを条件として与え、欠落部分をサンプリングすることで補間を実行し、妥当な運動経路を回復する。
- 良好なトラックレット vs. 悪いトラックレットの手動アノテーションを一切不要とする、観測された軌道における負の対数尤度損失を用いてエンドツーエンドで訓練する。
- スコアリング関数は幾何的整合性にのみ依存するため、外見の変化、視点のずれ、ドメインのずれに対して頑健である。
- Tracktor++ からのバウンディングボックス精錬ヘッドと統合することで、検出関連付けと追跡精度をさらに向上させる。
実験結果
リサーチクエスチョン
- RQ1外見や再識別に依存せず、純粋に幾何学的で生成的モデルが自然な運動の尤度に基づいてトラックレットをスコア付けできるか？
- RQ2このようなモデルが、隠蔽や検出器の故障に起因する欠落検出を、妥当な軌道完成の生成によって効果的に補間できるか？
- RQ3学習済みの運動分布が、微調整やドメイン特化データなしに、JRDB などの未学習のデータセットを含む多様なドメインに一般化できるか？
- RQ4再識別モジュールなしで、MOTA、IDF1、IDスイッチの観点から最先端の外見ベースのトラッカーを上回れるか？
- RQ5このアプローチが、人間の運動予測タスクにおいてどれほど現実的な将来の軌道予測を生成できるか？
主な発見
- ArTIST は MOT2017 ベンチマークで MOTA 54.0、IDF1 55.1 を達成し、幾何的および外見ベースの最先端手法を上回った。
- JRDB データセットでは、ArTIST は全評価手法の中で最高の MOTA（0.236）を達成したが、これは PathTrack のみで学習され、幾何的情報のみを用いたにもかかわらずである。
- ArTIST は Tracktor++ と比較して ID スイッチを 25% 減少させ、別個の再識別モデルの必要性を排除し、優れたアイデンティティの一貫性を達成した。
- モデルは各入力に対して複数の妥当な将来の軌道を生成し、人間の運動予測タスクにおける強い一般化能力を示した。
- ArTIST* では誤って欠落した検出数（FN）が顕著に減少しており、補間された軌道が自然な運動と整合的であることが示された。
- ArTIST は、手作業で設計されたオプティカルフローも特徴抽出技術も使用しないにもかかわらず、PHD-GM や他の運動予測モデルを MOT2017 で上回った。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。