[논문 리뷰] Monitoring COVID-19 social distancing with person detection and tracking via fine-tuned YOLO v3 and Deepsort techniques

Narinder Singh Punn, Sanjay Kumar Sonbhadra외 2명|arXiv (Cornell University)|2020. 05. 04.

Video Surveillance and Tracking Methods참고 문헌 68인용 수 245

한 줄 요약

본 논문은 미세 조정된 YOLO v3를 사용한 사람 감지와 추적을 위한 Deepsort를 활용한 딥러닝 프레임워크를 제안하여 감시 영상에서 사회적 거리두기를 모니터링하고, Faster R-CNN 및 SSD와 비교하며 위반 지수와 실시간 분석을 위한 3D 중심 거리 측정치를 도입한다.

ABSTRACT

The rampant coronavirus disease 2019 (COVID-19) has brought global crisis with its deadly spread to more than 180 countries, and about 3,519,901 confirmed cases along with 247,630 deaths globally as on May 4, 2020. The absence of any active therapeutic agents and the lack of immunity against COVID-19 increases the vulnerability of the population. Since there are no vaccines available, social distancing is the only feasible approach to fight against this pandemic. Motivated by this notion, this article proposes a deep learning based framework for automating the task of monitoring social distancing using surveillance video. The proposed framework utilizes the YOLO v3 object detection model to segregate humans from the background and Deepsort approach to track the identified people with the help of bounding boxes and assigned IDs. The results of the YOLO v3 model are further compared with other popular state-of-the-art models, e.g. faster region-based CNN (convolution neural network) and single shot detector (SSD) in terms of mean average precision (mAP), frames per second (FPS) and loss values defined by object classification and localization. Later, the pairwise vectorized L2 norm is computed based on the three-dimensional feature space obtained by using the centroid coordinates and dimensions of the bounding box. The violation index term is proposed to quantize the non adoption of social distancing protocol. From the experimental analysis, it is observed that the YOLO v3 with Deepsort tracking scheme displayed best results with balanced mAP and FPS score to monitor the social distancing in real-time.

연구 동기 및 목표

• COVID-19 기간 동안 감시 영상을 활용한 자동화된 사회적 거리두기 모니터링의 동기화 및 가능성 제고.
• 실시간 사회적 거리두기 측정에 대해 인기 있는 객체 탐지 및 추적 모델(YOLO v3, Faster RCNN, SSD)을 평가.
• 비거리 측정을 위한 3D 피처 공간 접근 방식과 사회적 거리두기 준수 여부를 정량화하는 위반 지수를 제시.
• 클러스터를 시각화하고 비디오 스트림에서 혼잡 및 규칙 위반의 실시간 지표를 제공하는 방법을 제시합니다.

제안 방법

• 사람 감지를 위해 YOLO v3를 미세 조정하고 ID가 할당된 추적을 위해 Deepsort를 적용합니다.
• 평균 정밀도(mAP), FPS, 손실 측면에서 Faster RCNN 및 SSD에 대해 YOLO v3+Deepsort를 비교합니다.
• 중심점 좌표와 깊이를 포함하는 3차원 피처 공간을 구성하고 3D L2 거리를 쌍으로 도출하여 사회적 거리두기 위반을 평가합니다.
• 위반 지수를 제안하여 거리두기 프로토콜 비적용을 정량화하고 바운딩 박스를 색상으로 구분하여 그룹을 시각화합니다.
• Occlusion 및 시야 변화 하에서 강건한 다중 객체 추적을 위해 Deepsort 내 Kalman 필터링과 Hungarian 알고리즘을 사용합니다.

실험 결과

연구 질문

• RQ1 YOLO v3와 Deepsort가 Faster RCNN 및 SSD에 비해 mAP 및 FPS 측면에서 실시간 사회적 거리두기 모니터링에 대해 어떤 성능을 보이는가?
• RQ2 3D 피처 공간 기반 거리 측정치와 위반 지수가 surveillance 영상에서 사회적 거리두기 위반을 효과적으로 정량화할 수 있는가?
• RQ3 제안된 시각화 및 추적 방법이 차폐 및 군중 상황에서 규칙 준수를 얼마나 잘 나타내는가?
• RQ4 실시간 비디오 스트림에서 감지 및 추적된 사람들 간의 속도-정확도 간의 트레이드오프는 무엇인가?

주요 결과

• YOLO v3와 Deepsort가 실시간 사회적 거리두기 모니터링에 대해 평균 정밀도(mAP)와 프레임 속도(FPS)의 최적 균형을 달성했습니다.
• YOLO v3가 mAP, FPS, 손실 면에서 Faster R-CNN 및 SSD와 비교되었고 YOLO v3+Deepsort가 균형 잡힌 성능을 보였습니다.
• 경계 상자의 중심점과 깊이를 기반으로 한 3차원 피처 공간을 사용하여 근접 기반 그룹을 식별하기 위한 쌍 L2 거리를 계산했습니다.
• 위반 지수를 도입하여 거리두기 프로토콜의 비준수를 정량화하고, 그룹을 시각화하기 위해 색상으로 구분된 바운딩 박스를 제시했습니다.
• 이 프레임워크는 사회적 그룹 수와 전체 위반 지수를 나타내는 실시간 시각화 및 스트리밍 그래프를 가능하게 하여 확장 가능한 모니터링 접근법을 제공합니다.