[論文レビュー] A Multi-task Joint Framework for Real-time Person Search

Ye Li, Kangning Yin+3 more|arXiv (Cornell University)|Dec 11, 2020

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

本論文は、リアルタイム人間検索のためのマルチタスク共同フレームワーク（MJF）を提案する。本フレームワークは、高速かつ高精度な検出を実現する最適化されたYOLOv5-GS、1フレームあたりの歩行者数に応じて特徴抽出器を動的に選択するモデル適応アーキテクチャ（MAA）、および4フレーム中5フレームの確認戦略を採用する3Dプールドテーブルを統合している。本フレームワークは1920×1080動画で500IDの状況下で93.6%の識別率と25.7FPSを達成し、リアルタイム性能を実現している。

ABSTRACT

Person search generally involves three important parts: person detection, feature extraction and identity comparison. However, person search integrating detection, extraction and comparison has the following drawbacks. Firstly, the accuracy of detection will affect the accuracy of comparison. Secondly, it is difficult to achieve real-time in real-world applications. To solve these problems, we propose a Multi-task Joint Framework for real-time person search (MJF), which optimizes the person detection, feature extraction and identity comparison respectively. For the person detection module, we proposed the YOLOv5-GS model, which is trained with person dataset. It combines the advantages of the Ghostnet and the Squeeze-and-Excitation (SE) block, and improves the speed and accuracy. For the feature extraction module, we design the Model Adaptation Architecture (MAA), which could select different network according to the number of people. It could balance the relationship between accuracy and speed. For identity comparison, we propose a Three Dimension (3D) Pooled Table and a matching strategy to improve identification accuracy. On the condition of 1920*1080 resolution video and 500 IDs table, the identification rate (IR) and frames per second (FPS) achieved by our method could reach 93.6% and 25.7,

研究の動機と目的

• 既存の人間検索システムが検出精度の低さにより再識別性能に悪影響を及げており、リアルタイム性能に劣っているという問題を解決すること。
• リアルタイム展開に適した検出、特徴抽出、アイデンティティ比較を統合的に最適化するフレームワークの開発。
• 1フレーム内の歩行者密度に応じてネットワークの複雑さを調整することで、特徴抽出の速度と精度のバランスを図ること。
• 姿勢に敏感な特徴の保存と複数フレーム確認戦略により、アイデンティティマッチングの信頼性を向上させること。

提案手法

• YOLOv5-GSを提案する。これは、ゴーストモジュールとスイーブ・アンド・エクスカイトブロックを組み合わせた軽量な検出ネットワークであり、CrowdHumanデータセットで微調整することで、人間検出の高速化と精度向上を実現している。
• モデル適応アーキテクチャ（MAA）を設計。1フレームあたりの検出歩行者数に応じて、ResNet-18、-34、または-50に加え、Non-localおよびBnFeatureモジュールを選択することで、速度と精度のバランスを最適化している。
• 3Dプールドテーブルを導入。各アイデンティティの特徴を前面、側面、背面の3つの姿勢で保存し、姿勢に特化したマッチングを可能にしている。
• 4-in-5フレーム確認戦略を採用。アイデンティティが連続する5フレーム中4フレーム以上で一貫性を示した場合にのみ、マッチングまたは更新が行われる。これにより信頼性が向上する。
• アイデンティティマッチング時に類似度をコサイン距離で計算することで、外観の変化に対して高い耐性を確保している。
• マルチステージパイプラインを採用：検出 → 適応的特徴抽出 → 確認論理を備えた3Dテーブルによる姿勢に敏感な特徴マッチング。

実験結果

リサーチクエスチョン

• RQ1 検出、特徴抽出、アイデンティティマッチングを同時に最適化する共同フレームワークは、リアルタイム人間検索の性能向上に寄与するか？
• RQ2 1フレーム内の歩行者密度の変動に応じて、特徴抽出の速度と精度をどのようにバランスさせるか？
• RQ3 複数フレーム確認と姿勢別特徴保存により、アイデンティティマッチングの信頼性は向上するか？
• RQ4 提案フレームワークは、高解像度動画においても25FPS以上を達成し、高い識別精度を維持できるか？

主な発見

• MJFフレームワークは1920×1080動画で500IDのテーブルを用いた状況下で93.6%の識別率と25.7FPSを達成し、リアルタイム要件を満たしている。
• YOLOv5-GSは1920×1080動画で60.4FPSを達成しており、精度を維持したまま高速検出を実現している。
• MAAを用いることで、ResNet-50を用いて1秒間に605人の歩行者を特徴抽出でき、mAPは93.2%、Rank-1精度は94.2%を達成している。
• 4-in-5フレーム確認戦略を採用した3Dプールドテーブルは、高密度な歩行者状況下でもマッチングの安定性を向上させ、誤検出を低減している。
• ID数の増加や解像度の低下に伴い識別率は低下するが、500IDおよび1920×1080解像度下でも93.6%のIRを維持している。
• シーンの複雑さに応じて動的に適応する能力により、単一モデルアプローチを上回る性能を発揮しており、速度と精度のバランスを効果的に実現している。