[論文レビュー] The P-DESTRE: A Fully Annotated Dataset for Pedestrian Detection, Tracking, Re-Identification and Search from Aerial Devices

Sanjay Kumar, Ehsan Yaghoubi+3 more|arXiv (Cornell University)|Apr 6, 2020

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

P-DESTREデータセットは、複数日間にわたる完全にアノテートされたドローンベースの動画データセットであり、歩行者検出、トラッキング、再識別、人物検索を対象としている。衣装に基づく特徴が信頼できない困難な状況における研究を可能にする。一貫性のあるIDアノテーション、ソフトバイオメトリクスラベル、バウンディングボックスを提供し、地上カメラデータと比較してドローンデータにおける検出、トラッキング、検索タスクの性能低下が顕著であることが明らかになった。一方、再識別は比較的頑健である。

ABSTRACT

Over the last decades, the world has been witnessing growing threats to the security in urban spaces, which has augmented the relevance given to visual surveillance solutions able to detect, track and identify persons of interest in crowds. In particular, unmanned aerial vehicles (UAVs) are a potential tool for this kind of analysis, as they provide a cheap way for data collection, cover large and difficult-to-reach areas, while reducing human staff demands. In this context, all the available datasets are exclusively suitable for the pedestrian re-identification problem, in which the multi-camera views per ID are taken on a single day, and allows the use of clothing appearance features for identification purposes. Accordingly, the main contributions of this paper are two-fold: 1) we announce the UAV-based P-DESTRE dataset, which is the first of its kind to provide consistent ID annotations across multiple days, making it suitable for the extremely challenging problem of person search, i.e., where no clothing information can be reliably used. Apart this feature, the P-DESTRE annotations enable the research on UAV-based pedestrian detection, tracking, re-identification and soft biometric solutions; and 2) we compare the results attained by state-of-the-art pedestrian detection, tracking, reidentification and search techniques in well-known surveillance datasets, to the effectiveness obtained by the same techniques in the P-DESTRE data. Such comparison enables to identify the most problematic data degradation factors of UAV-based data for each task, and can be used as baselines for subsequent advances in this kind of technology. The dataset and the full details of the empirical evaluation carried out are freely available at http://p-destre.di.ubi.pt/.

研究の動機と目的

• 衣装に基づく特徴が信頼できない人物検索の分野において、一貫性のあるIDアノテーションを備えた複数日間のドローンベースのデータセットが不足しているという問題に対処すること。
• 現実のドローン監視環境下での歩行者検出、トラッキング、再識別、ソフトバイオメトリクス分析の研究を支援すること。
• 地上ベースのデータセットと比較して、最新の手法がドローン由来の上空データでどのように性能低下を示すかを評価するベンチマークを提供すること。
• ドロイターのアノテーションと多様なソフトバイオメトリクス属性を提供することで、頑健な人物検索システムの開発を可能にすること。
• ドローンベースの歩行者分析分野における今後の進展のための再現可能なベースラインを確立すること。

提案手法

• データセットは、大学キャンパスを対象にDJI Phantom 4ドローンを用いて収集された。複数日間にわたる屋外で混雑したシーンを捉えている。
• 人間の専門家がフレーム単位でバウンディングボックス、複数日を通じた個々の歩行者ごとの固有ID、および性別、年齢、身長、人種、衣装詳細を含む16のソフトバイオメトリクス属性をアノテートした。
• データセットには102,262フレームが含まれ、10のシーンにわたり、1,228の固有IDと1,512の未知のID（ドロイターとして使用）が含まれている。
• P-DESTREと標準的な監視データセットを用いて、最新の手法を比較評価し、検出、トラッキング、再識別、人物検索タスクにおける性能低下を測定した。
• 評価にはランクベースのリtrievalメトリクスと、トップ1、トップ56、トップ98のリtrieval結果の可視化分析を含み、失敗事例の特定を目的とした。
• データセットは http://p-destre.di.ubi.pt/ で公開されており、完全なアノテーション詳細と評価プロトコルが提供されている。

実験結果

リサーチクエスチョン

• RQ1 最新の歩行者検出、トラッキング、人物検索手法が地上ベースの監視データと比較してドローン由来の上空動画に適用された場合、性能はどの程度低下するか？
• RQ2 観察間の時間差により衣装の外見的特徴が信頼できない状況下で、既存の再識別技術がドローンデータにどの程度一般化可能か？
• RQ3 ドローンベースの歩行者分析において、検出、トラッキング、人物検索を妨げる主なデータ劣化要因は何か？
• RQ4 衣装特徴が一貫性のない場合、ソフトバイオメトリクス特徴が人物検索の検索空間をどの程度小さくできるか？
• RQ5 ドローンデータにおける人物検索のベースラインパフォーマンスメトリクスは何か？また、現在のモデルはどこで最も頻繁に失敗するか？

主な発見

• 地上ベースのデータセットと比較して、ドローンデータにおける検出性能に最も顕著な低下が見られ、上空システムにおける大きな課題であることが示された。
• トラッキング性能も著しく低下しており、特に低解像度で高速移動する対象が多数存在する混雑・隠蔽状態のシーンで顕著であった。
• 人物検索の性能は再識別と比べて著しく劣っており、トップ1リtrieval精度で40パーセンテージポイントの差が生じた。これは、衣装の手がかりが欠落した状況での個人特定の難しさを示している。
• 再識別手法はドローンデータと地上ベースのデータの両方で同等の性能を示しており、上空視点や解像度の低下があっても、外見に基づく特徴が依然として有効であることを示唆している。
• トップ56、トップ73、トップ98のリtrieval失敗事例から、真のアイデンティティがしばしば初期順位で見過ごされていることが判明し、高い偽陰性率を示している。
• 可視化分析により、ポーズの類似性、アクセサリーの一致、ソフトバイオメトリクス特徴の重複が、人物検索における誤検出の主な原因であることが確認された。