[論文レビュー] Monitoring COVID-19 social distancing with person detection and tracking via fine-tuned YOLO v3 and Deepsort techniques

Narinder Singh Punn, Sanjay Kumar Sonbhadra+2 more|arXiv (Cornell University)|May 4, 2020

Video Surveillance and Tracking Methods参考文献 68被引用数 245

ひとこと要約

論文は、個人検出のためにファインチューニングされた YOLO v3 を用い、追跡には Deepsort を使用して監視ビデオのソーシャルディスタンスを監視する深層学習フレームワークを提案し、Faster R-CNN と SSD と比較し、違反指標と実時間分析のための3D中心の距離測定を導入する。

ABSTRACT

The rampant coronavirus disease 2019 (COVID-19) has brought global crisis with its deadly spread to more than 180 countries, and about 3,519,901 confirmed cases along with 247,630 deaths globally as on May 4, 2020. The absence of any active therapeutic agents and the lack of immunity against COVID-19 increases the vulnerability of the population. Since there are no vaccines available, social distancing is the only feasible approach to fight against this pandemic. Motivated by this notion, this article proposes a deep learning based framework for automating the task of monitoring social distancing using surveillance video. The proposed framework utilizes the YOLO v3 object detection model to segregate humans from the background and Deepsort approach to track the identified people with the help of bounding boxes and assigned IDs. The results of the YOLO v3 model are further compared with other popular state-of-the-art models, e.g. faster region-based CNN (convolution neural network) and single shot detector (SSD) in terms of mean average precision (mAP), frames per second (FPS) and loss values defined by object classification and localization. Later, the pairwise vectorized L2 norm is computed based on the three-dimensional feature space obtained by using the centroid coordinates and dimensions of the bounding box. The violation index term is proposed to quantize the non adoption of social distancing protocol. From the experimental analysis, it is observed that the YOLO v3 with Deepsort tracking scheme displayed best results with balanced mAP and FPS score to monitor the social distancing in real-time.

研究の動機と目的

• COVID-19 の間、監視映像を用いたソーシャルディスタンスの自動監視を動機づけ、実現する。
• リアルタイムのソーシャルディスタンス測定のために、人気のある物体検出と追跡モデル（YOLO v3、Faster RCNN、SSD）を評価する。
• 距離ガイドラインへの非遵守を定量化する3D特徴空間アプローチと違反指標を提案する。
• 群衆のクラスタを可視化し、ビデオストリームにおける混雑とルール違反のリアルタイム指標を提供する。

提案手法

• 人検出のために YOLO v3 をファインチューニングし、割り当てられた ID を用いた Deepsort による追跡を適用する。
• mean average precision (mAP)、FPS、loss の観点で YOLO v3+Deepsort を Faster RCNN と SSD と比較する。
• 三次元特徴空間（セントロイド座標と深度）を計算し、ソーシャルディスタンス違反を評価するために対になる3D L2ノルムを導出する。
• 距離確保プロトコルの不遵守を定量化する違反指標を提案し、グループを視覚化するために境界ボックスをカラーコードする。
• 遮蔽や視点変化下での頑健なマルチオブジェクト追跡のために Deepsort 内でカルマンフィルタリングとハンガリーアルゴリズムを使用する。

実験結果

リサーチクエスチョン

• RQ1 mAPとFPSの観点で、YOLO v3 with Deepsort は Faster RCNN および SSD と比較してリアルタイムのソーシャルディスタンシング監視でどのように性能を示すか？
• RQ2 3D特徴空間ベースの距離指標と違反指標は、監視映像でのソーシャルディスタンス違反を効果的に定量化できるか？
• RQ3 提案された可視化および追跡手法は、遮蔽や混雑状況にどれだけ適切に対処して、ルール遵守を示すことができるか？
• RQ4 ライブ映像ストリームにおける検出・追跡された人物の速度と精度のトレードオフはどうなるか？

主な発見

• YOLO v3 with Deepsort は、リアルタイムのソーシャルディスタンシング監視において mean average precision (mAP) と frames per second (FPS) の最良のバランスを達成した。
• YOLO v3 は mAP、FPS、loss の点で Faster R-CNN および SSD と比較され、YOLO v3+Deepsort がバランスの取れた性能を示した。
• 境界ボックスのセントロイドと深度に基づく3次元特徴空間を用いて、近接ベースのグループを特定するために対の L2 距離を計算した。
• 距離確保プロトコルの非遵守を定量化する違反指標が提案され、カラーコードされた境界ボックスが関連グループを視覚化する。
• このフレームワークは、リアルタイムの可視化とストリーミングプロットを可能にし、社会的グループの数と総合的な違反指標を示すスケーラブルな監視アプローチを構築する。