[論文レビュー] BASE: Probably a Better Approach to Multi-Object Tracking

Martin Vonheim Larsen, Sigmund Rolfsjord+3 more|arXiv (Cornell University)|Sep 21, 2023

Video Surveillance and Tracking MethodsComputer Science被引用数 3

ひとこと要約

BASEは、距離に敏感な運動モデル、動的クラッター推定、確率的関連付け、校正済みの検出器信頼度を統合することで、MOT17およびMOT20で最先端の性能を達成する最小限の確率的単一仮説トラッカーを提案する。これは、確率的手法が、重要な視覚追跡課題を適切にモデル化すれば、手作業で最適化されたSOTAトラッカーを上回ることを示している。

ABSTRACT

The field of visual object tracking is dominated by methods that combine simple tracking algorithms and ad hoc schemes. Probabilistic tracking algorithms, which are leading in other fields, are surprisingly absent from the leaderboards. We found that accounting for distance in target kinematics, exploiting detector confidence and modelling non-uniform clutter characteristics is critical for a probabilistic tracker to work in visual tracking. Previous probabilistic methods fail to address most or all these aspects, which we believe is why they fall so far behind current state-of-the-art (SOTA) methods (there are no probabilistic trackers in the MOT17 top 100). To rekindle progress among probabilistic approaches, we propose a set of pragmatic models addressing these challenges, and demonstrate how they can be incorporated into a probabilistic framework. We present BASE (Bayesian Approximation Single-hypothesis Estimator), a simple, performant and easily extendible visual tracker, achieving state-of-the-art (SOTA) on MOT17 and MOT20, without using Re-Id. Code will be made available at https://github.com/ffi-no

研究の動機と目的

• 従来の手作業で最適化された手法と比較して、確率的トラッカーが視覚的マルチオブジェクト追跡（VMOT）で性能を発揮しない理由を解消すること。
• 先行する確率的アプローチが見過ごしてきた重要な視覚追跡課題、すなわち非一様な運動論、クラッター分布、検出器信頼度を同定し、モデル化すること。
• これらの要因を適切に取り入れた場合、原理的で整合性のある確率的フレームワークがSOTA性能を達成できることを示すこと。
• 将来的な確率的VMOT研究のための最小限で拡張可能かつ原理的基盤を提供すること。
• 確率的関連付けと動的モデリングが、校正済みの信頼度と組み合わせた場合に特に重要であることを示すこと。

提案手法

• 従来のSHTの要素を確率的対応物に置き換え：確率的ゲーミング、関連付け、トラック管理。
• 距離に敏感な運動モデルを導入し、位置の不確実性を大きく（近い）バウンディングボックスに対して高める。これは、運動論的不確実性の増加を反映する。
• ヒストグラムベースの誤検出率推定を用いて、シーン固有のクラッターレベルに適応する動的クラッター密度モデルを構築。
• 位置、サイズ、信頼度を統合する一貫した指標に統合する、尤度比に基づく確率的関連付けを採用。
• ヒストグラムベースの手法を用いて検出器信頼度スコアを校正し、関連付け意思決定における信頼性を向上。
• 最大尤度推定（MLE）を用いて、学習データからモデルパラメータを自動で学習し、頑健性と一般化性能を確保。

実験結果

リサーチクエスチョン

• RQ1 確率的トラッカーは理論的利点があるにもかかわらず、なぜ視覚的マルチオブジェクト追跡で性能を発揮しないのか？
• RQ2 確率的トラッカーは、視覚追跡における非一様なターゲット運動論とクラッター分布をどのように処理できるか？
• RQ3 検出器信頼度は確率的関連付けにおいてどのような役割を果たし、効果的にモデル化できるか？
• RQ4 Re-Idや複雑なアーキテクチャを一切使用せずに、最小限の確率的トラッカーがSOTA性能を達成できるか？
• RQ5 確率的トラッカーが手作業で最適化されたSOTA手法に匹敵または上回るためには、どのような要素が不可欠か？

主な発見

• BASEはMOT17およびMOT20ベンチマークでSOTAを達成し、Re-Idを一切使用しないにもかかわらず、ByteTrack や BoT-SORT といった先進的手法を上回る性能を示した。
• アブレーションスタディの結果、距離に敏感な運動モデルの性能向上には動的クラッターモデリングが不可欠であり、定常的なクラッターモデルでは性能が低下することが判明した。
• 単純な運動モデルを用いた確率的関連付けはIOUベースの関連付けに劣るが、距離に敏感なモデルと組み合わせると、IOUベースを上回る性能を発揮した。
• 校正済みの検出器信頼度は、元の信頼度と比較して0.8 MOTAポイント、信頼度を無視した場合と比較して3.8 MOTAポイントの性能向上をもたらし、その重要性が明確になった。
• 完全なBASE設定では、MOT17検証セットで81.6 MOTAおよび70.2 HOTAを達成し、BoT-SORT（78.5 MOTA）を上回り、MOTRv2のようなエンドツーエンドモデルに近い性能に到達した。
• 本手法は、距離効果、クラッター、信頼度といった視覚追跡の重要な特性を適切にモデル化すれば、確率的トラッカーが単純かつ高性能に設計可能であることを示している。