[論文レビュー] DETRAC: A New Benchmark and Protocol for Multi-Object Tracking

Longyin Wen, Dawei Du+7 more|arXiv (Cornell University)|Nov 13, 2015

Video Surveillance and Tracking Methods参考文献 32被引用数 37

ひとこと要約

本稿は、100件の実世界の交通映像と120万個のラベル付きバウンディングボックスを備えた大規模なデータセットであるDETRACベンチマークを紹介し、オブジェクト検出の精度がマルチオブジェクトトラッキング（MOT）性能に与える影響を調査する。新たな評価プロトコルを提案し、検出と関連付けの両方を統合的に分析することで、複雑な相互依存関係を明らかにし、エンドツーエンドのMOT評価のための包括的な指標を導入する。

ABSTRACT

In recent years, most effective multi-object tracking (MOT) methods are based on the tracking-by-detection framework. Existing performance evaluations of MOT methods usually separate the target association step from the object detection step by using the same object detection results for comparisons. In this work, we perform a comprehensive quantitative study on the effect of object detection accuracy to the overall MOT performance. This is based on a new large-scale DETection and tRACking (DETRAC) benchmark dataset. The DETRAC benchmark dataset consists of 100 challenging video sequences captured from real-world traffic scenes (over 140 thousand frames and 1.2 million labeled bounding boxes of objects) for both object detection and MOT. We evaluate complete MOT systems constructed from combinations of state-of-the-art target association methods and object detection schemes. Our analysis shows the complex effects of object detection accuracy on MOT performance. Based on these observations, we propose new evaluation tools and metrics for MOT systems that consider both object detection and target association for comprehensive analysis.

研究の動機と目的

• オブジェクト検出とターゲット関連付けの相互作用を分析することで、マルチオブジェクトトラッキング（MOT）システムの包括的評価の欠落を是正すること。
• 検出とトラッキングの両方を対象とした、100の映像シーケンス、14万枚以上のフレーム、120万個のラベル付きバウンディングボックスを有する大規模なベンチマークデータセット、DETRACを構築すること。
• 最先端の検出および関連付け手法を用いて完全なMOTシステムを評価し、検出精度が全体のトラッキングパフォーマンスに与える影響を定量化すること。
• 検出と関連付けの両ステージを統合的に考慮する新しい評価ツールおよび指標を提案し、個別のコンponent評価にとどまらない枠組みを提供すること。
• 将来的なMOT研究を反映する標準化されたプロトコルを提供し、実世界のシステムパフォーマンスをより正確に反映すること。

提案手法

• 著者らは、車両やその他のオブジェクトの詳細なバウンディングボックスアノテーションを備えた、100件の実世界の交通映像シーケンスを収集・アノテートし、DETRACベンチマークを構築した。
• 最先端のオブジェクト検出モデルとさまざまなターゲット関連付けアルゴリズムを組み合わせることで、エンドツーエンドのパフォーマンスを評価する完全なMOTシステムを構築した。
• 検出と関連付けを別々に分析するのではなく、トラッキングパイプライン全体を統合的に評価する新しい評価プロトコルを導入した。
• 検出品質が全体のトラッキングパフォーマンスに与える寄与度を評価する新しい指標を含み、パフォーマンスの微細な分解を可能にした。
• 複数の検出および関連付けの組み合わせに対して定量的分析を実施し、MOTパフォーマンスが検出精度にどれほど感受的であるかを調査した。
• 検出エラーがトラッキング精度および耐性に与える影響を分離するための体系的なアブレーションスタディを可能にするフレームワークを提供した。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出の精度は、マルチオブジェクトトラッキングシステム全体のパフォーマンスにどのように影響するか？
• RQ2 実世界のシナリオにおいて、検出エラーはどの程度伝搬し、トラッキングパフォーマンスを劣化させるか？
• RQ3 MOTベンチマークの評価プロトコルが検出と関連付けを分離しているという現在のプロトコルの限界は何か？
• RQ4 検出と関連付けコンポーネントを統合的に評価できる統一された評価フレームワークは、どのように設計できるか？
• RQ5 完全なMOTシステムの包括的かつ公平なベンチマーク評価を可能にするために、どのような新しい指標とツールが必要か？

主な発見

• オブジェクト検出の精度はMOT全体のパフォーマンスに顕著に影響を与え、検出エラーがトラッキング失敗の主な要因であることが判明した。
• 本研究では、検出品質とトラッキング精度の間には複雑で非線形的な関係が存在することが明らかになり、検出精度の向上が常にトラッキングパフォーマンスの比例的向上をもたらすわけではないことが示された。
• 検出と関連付けを分離して評価する従来の評価プロトコルは、真のシステムレベルのパフォーマンスを捉えておらず、誤解を招く比較を生じる可能性がある。
• 提案された統合評価プロトコルにより、検出と関連付けを同時に分析することで、MOTシステムの挙動をより正確かつ詳細に理解できるようになった。
• DETRACベンチマークは、大規模かつ実世界のMOTシステムの評価を可能にし、将来的な研究のための標準化されたプラットフォームを提供する。
• 新規の指標とツールにより、研究者はシステムパフォーマンスの診断をより効果的に行えるようになり、障害の原因が検出コンponentか関連付けコンponentかを特定できるようになった。