[論文レビュー] MMPTRACK: Large-scale Densely Annotated Multi-camera Multiple People Tracking Benchmark

Xiaotian Han, Quanzeng You+6 more|arXiv (Cornell University)|Nov 30, 2021

Video Surveillance and Tracking Methods参考文献 41被引用数 13

ひとこと要約

本論文は、密な2Dおよび3Dアノテーションを備えた、最大規模の公開可能でマルチカメラ・マルチペルソントラッキングベンチマークであるMMPTRACKを紹介する。校正済み深度およびRGBカメラを用いた自動アノテーションシステムを提案し、高品質な3Dトラッキング結果を生成。これらの結果を2Dビューに投影し、手動で精査することで、従来の手動アノテーションの1/800のコストで100% IDF1および99.9% MOTAを達成した。

ABSTRACT

Multi-camera tracking systems are gaining popularity in applications that demand high-quality tracking results, such as frictionless checkout because monocular multi-object tracking (MOT) systems often fail in cluttered and crowded environments due to occlusion. Multiple highly overlapped cameras can significantly alleviate the problem by recovering partial 3D information. However, the cost of creating a high-quality multi-camera tracking dataset with diverse camera settings and backgrounds has limited the dataset scale in this domain. In this paper, we provide a large-scale densely-labeled multi-camera tracking dataset in five different environments with the help of an auto-annotation system. The system uses overlapped and calibrated depth and RGB cameras to build a high-performance 3D tracker that automatically generates the 3D tracking results. The 3D tracking results are projected to each RGB camera view using camera parameters to create 2D tracking results. Then, we manually check and correct the 3D tracking results to ensure the label quality, which is much cheaper than fully manual annotation. We have conducted extensive experiments using two real-time multi-camera trackers and a person re-identification (ReID) model with different settings. This dataset provides a more reliable benchmark of multi-camera, multi-object tracking systems in cluttered and crowded environments. Also, our results demonstrate that adapting the trackers and ReID models on this dataset significantly improves their performance. Our dataset will be publicly released upon the acceptance of this work.

研究の動機と目的

• 複雑で混雑した環境における、大規模かつ高品質なマルチカメラ・マルチペルソントラッキングデータセットの不足に対処する。
• マルチカメラ環境における手動アノテーションの高コストと困難さを克服し、スケーラブルな自動アノテーションパイプラインを提供する。
• 実世界のシナリオにおけるマルチカメラトラッキングおよび人物再識別（ReID）システムの評価と改善を可能にするベンチマークを提供する。
• MMPTRACKにおけるドメイン特化的適応が、一般データセットで事前学習されたモデルと比較して、トラッカーおよびReIDの性能を顕著に向上させることを示す。
• 複雑な隠蔽や照明変動を伴う環境、例えば小売店、オフィス、ロビーなどにおいて、より良い一般化性能と耐障害性を実現する。

提案手法

• 5つの多様な実環境（カフェ、産業施設、ロビー、オフィス、小売店）に複数の校正済み深度センサーとRGBカメラを設置する。
• 深度データを用いて3D空間の上方向ビューに投影し、その上でトップダウン型3D人物検出器およびトラッカーを学習する。
• 3Dトラッカーを用いて、全フレームにわたる疑似真の3Dトラッキング結果を生成する。
• カメラの校正パrametersを用いて、3Dトラッキング結果を同期されたRGBカメラの各ビューに投影する。
• 3Dトラッキング出力の品質を手動で確認し、IDの入れ替えや誤検出を是正することで、高精度なラベルを確保する。
• 得られた密な2Dおよび3Dアノテーションを活用し、マルチカメラトラッカーおよびReIDモデルの学習と評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 深度およびRGBカメラを用いた自動アノテーションシステムは、従来の手動ラベリングと比較して、コストの1/800程度で高品質でスケーラブルなマルチカメラトラッキングアノテーションを生成できるか？
• RQ2 複雑な隠蔽を伴う多様な実環境において、最先端のマルチカメラトラッカーおよびReIDモデルの性能はどのように変動するか？
• RQ3 MS-COCO や OpenImages のような一般データセットで事前学習したモデルと比較して、MMPTRACKでファインチューニングすることで、性能はどの程度向上するか？
• RQ4 ごみや混雑した背景に満ちた環境において、ドメイン特化データがReIDおよびトラッキング性能に与える影響はどの程度か？
• RQ5 大規模かつドメイン特化したデータは、ドメインギャップを緩和し、マルチカメラトラッキングシステムの一般化性能を向上させることができるか？

主な発見

• 自動アノテーションシステムは、従来の手動ラベリングの1/800のコストで100% IDF1および99.9% MOTAを達成した。
• MMPTRACKでファインチューニングされたReIDモデルは、一般化モデルおよびOpenImagesで事前学習されたモデルを上回り、特に小売店のような混雑した環境で顕著な優位性を示した。
• MMPTRACKからスクラッチで学習したモデルは、一般化モデルを上回った。これは、ドメイン不一致のデータで事前学習するよりも、ドメイン内データがより効果的であることを示している。
• ReIDモデルの性能は、小売店環境では著しく低下した（mAP: 28.46）、これは複雑な背景と隠蔽の課題を示している。
• 最新鋭のリアルタイムマルチカメラトラッカーですら、スムーズな精算（frictionless checkout）のような要求の厳しいアプリケーションの要件を満たしていない。
• MMPTRACKのトレーニングスプリットを用いたモデル適応により、顕著な性能向上が得られた。これは、実世界の展開に向け、大規模かつドメイン特化したデータの価値を示している。