[論文レビュー] UA-DETRAC: A New Benchmark and Protocol for Multi-Object Detection and Tracking

Longyin Wen, Dawei Du+7 more|arXiv (Cornell University)|Nov 13, 2015

Video Surveillance and Tracking Methods参考文献 74被引用数 142

ひとこと要約

本論文は、100の実世界の交通映像と140,000フレーム以上のアノテーションを備えた大規模なベンチマーク、UA-DETRACを紹介する。多対象検出とトラッキングのための新しい評価プロトコルを提案し、検出とトラッキングを分離することで、全体のMOT性能に与える検出品質の重要性を明らかにした。また、PR-MOTAのような改善された指標を導入し、多様なシナリオにおけるシステムの頑健性をよりよく評価できるようにした。

ABSTRACT

In recent years, numerous effective multi-object tracking (MOT) methods are developed because of the wide range of applications. Existing performance evaluations of MOT methods usually separate the object tracking step from the object detection step by using the same fixed object detection results for comparisons. In this work, we perform a comprehensive quantitative study on the effects of object detection accuracy to the overall MOT performance, using the new large-scale University at Albany DETection and tRACking (UA-DETRAC) benchmark dataset. The UA-DETRAC benchmark dataset consists of 100 challenging video sequences captured from real-world traffic scenes (over 140,000 frames with rich annotations, including occlusion, weather, vehicle category, truncation, and vehicle bounding boxes) for object detection, object tracking and MOT system. We evaluate complete MOT systems constructed from combinations of state-of-the-art object detection and object tracking methods. Our analysis shows the complex effects of object detection accuracy on MOT system performance. Based on these observations, we propose new evaluation tools and metrics for MOT systems that consider both object detection and object tracking for comprehensive analysis.

研究の動機と目的

• 多対象トラッキング（MOT）システムにおける検出精度を考慮した包括的な評価プロトコルの不足に対処する。
• 豊富なアノテーション（例：隠蔽、照明、車両タイプ）を備えた大規模で現実世界のデータセットを提供し、MOT手法の頑健な評価を支援する。
• 物体検出の品質と全体のMOTシステム性能との複雑な相互作用を調査し、検出入力を固定と仮定するという前提に疑問を呈する。
• 検出性能を変数として扱う新しい評価メトリクスを開発し、多様な応用シナリオにおける公平で情報豊富なベンチマーク評価を可能にする。
• 標準化され拡張可能なベンチマークフレームワークを確立することで、将来的な共同検出・トラッキング、リアルタイム効率、データ駆動型の性能向上に関する研究を可能にする。

提案手法

• バウンディングボックス、隠蔽レベル、切り出し比、照明条件、車両タイプを含む、100本の実世界の交通映像（140,000フレーム以上）を収集・アノテートする。
• 最先端の検出器（DPM、ACF、R-CNN、CompACT、Faster R-CNN）と10種類のトラッキングアルゴリズム（GOG、CEM、DCT、IHTLS、H2T、CMOT、TBD）を組み合わせて完全なMOTシステムを構築する。
• 検出信頼度の閾値を変化させながらMOT性能を評価し、トラッキング性能が検出品質にどの程度感受するかを分析する。
• 検出とトラッキングを分離する新しい評価プロトコルを導入し、MOTA や MOTP といったトラッキングメトリクスへの検出の影響を体系的に分析可能にする。
• 検出入力の精度と再現率を組み込んだ、PR-MOTA や PR-MOTP といった強化されたメトリクスを提案し、アプリケーション固有の性能評価を可能にする。
• フレーム単位の速度測定と計算プラットフォームを用いて、検出とトラッキングパイプラインのリアルタイム実現可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 物体検出の精度は、多対象トラッキングシステム全体の性能にどのように影響するか？
• RQ2 MOTベンチマークにおいて検出を固定された事前定義されたコンponentとみなす既存の評価プロトコルの限界は何か？
• RQ3 検出品質がトラッキング性能に与える影響を体系的に分析できる新しい評価プロトコルを設計できるか？
• RQ4 異なる検出アルゴリズムは、多様な現実世界の条件下で、下流のトラッキングシステムのMOTAおよびMOTPスコアにどのように影響するか？
• RQ5 監視（IDスイッチを最小限に抑える）や自動運転（誤検出を最小限に抑える）といったアプリケーション固有の文脈において、最も有益なメトリクスは何か？

主な発見

• 検出品質はMOTシステム性能に顕著かつ非線形的な影響を与える。MOTAスコアは、異なる検出信頼度の閾値によって著しく変動する。
• 提案されたPR-MOTAメトリクスは、特に隠蔽や低照度といった困難な条件下で、トラッキング性能が検出の精度と再現率に極めて敏感であることを明らかにした。
• Faster R-CNNとCompACT検出器は、DPMとACFに比べて検出品質が優れており、頑健なトラッカーと組み合わせると、より高いMOTAスコアを達成した。
• Faster R-CNNの検出結果を用いた場合、GOGトラッカーはUA-DETRACテストセットで最高のフレームレート（404.61 FPS）を記録し、リアルタイム実現の可能性が顕著に示された。
• IHTLSトラッカーは検出品質に対して最も感受性が高く、検出再現率が低いとMOTAが著しく低下するため、複雑なトラッキングシナリオでは頑健な検出が不可欠であることが示された。
• 分析から、検出とトラッキングの共同最適化が不可欠であることが確認された。トラッキング性能は検出品質に依存しており、逆も同様である。