[论文解读] COVID-Robot: Monitoring Social Distancing Constraints in Crowded Scenarios

Adarsh Jagan Sathyamoorthy, Utsav Patel+3 more|arXiv (Cornell University)|Aug 14, 2020

Video Surveillance and Tracking Methods参考文献 21被引用 55

一句话总结

本文提出了一种基于视觉引导的移动机器人系统，能够检测社交距离违规行为，导航到最大非合规人群，并通过警示来促使保持距离，使用 RGB-D、CCTV 和热成像传感器，并采用 CCTV-机器人融合策略。

ABSTRACT

Maintaining social distancing norms between humans has become an indispensable precaution to slow down the transmission of COVID-19. We present a novel method to automatically detect pairs of humans in a crowded scenario who are not adhering to the social distance constraint, i.e. about 6 feet of space between them. Our approach makes no assumption about the crowd density or pedestrian walking directions. We use a mobile robot with commodity sensors, namely an RGB-D camera and a 2-D lidar to perform collision-free navigation in a crowd and estimate the distance between all detected individuals in the camera's field of view. In addition, we also equip the robot with a thermal camera that wirelessly transmits thermal images to a security/healthcare personnel who monitors if any individual exhibits a higher than normal temperature. In indoor scenarios, our mobile robot can also be combined with static mounted CCTV cameras to further improve the performance in terms of number of social distancing breaches detected, accurately pursuing walking pedestrians etc. We highlight the performance benefits of our approach in different static and dynamic indoor scenarios.

研究动机与目标

• 开发一种移动机器人系统，在不需要可穿戴设备的情况下，检测社交距离违规行为（≤6 英尺持续≥5 秒）。
• 实现对室内不同人群中的不合规群体的自主、无碰撞导航。
• 通过将移动机器人与静态 CCTV 摄像头相结合的混合设置来提升违规检测。
• 提供隐私友好的热成像能力，以协助健康/安保人员。

提出的方法

• 基于 RGB 图像的 Yolov3 行人检测与跟踪，采用稳定的 ID 进行跟踪。
• 利用 RGB-D 数据的深度信息进行距离估算，以计算人际距离。
• 基于单应性变换的地面平面转换，用于在使用静态摄像头时从 CCTV 画面估算距离。
• 对不合规行人进行群体分类，以定位最大的聚集（算法 1）。
• 基于深度强化学习的避撞策略，经 Frozone 优化以避免“冻结机器人问题”，引导机器人前往被锁定的行人。
• 相对于机器人（RGB-D）或地图坐标（CCTV）计算目标位置，以驱动 DRL 策略。
• 热成像相机的集成与无线传输，向安保/医疗人员传输温度信息，同时保护隐私。

实验结果

研究问题

• RQ1 在室内环境中，系统在不使用可穿戴设备的情况下能多准确地检测到社交距离违规行为？
• RQ2 移动机器人（可能与 CCTV 数据融合）是否能可靠地导航到人群中最大的非合规群体并进行处理？
• RQ3 将 CCTV 数据和基于单应性的距离估计引入对违规检测和执行性能有何影响？
• RQ4 热成像路径在保护隐私的同时是否提高了监控效果？

主要发现

• 系统使用 RGB-D 数据并可选地结合 CCTV 数据，检测社交距离违规（≤6 英尺持续至少 5 秒）。
• 在室内环境下，使用 RGB-D 数据进行行人距离估算的平均误差约为 0.3 英尺。
• 在室内场景中，与仅机器人或仅 CCTV 的设置相比，混合 CCTV-机器人运行可将违规检测与执行提升最高达 100%。
• 机器人自动优先处理最大非合规群体，导航到被锁定的行人并显示警示以促进保持距离。
• 一种保护隐私的热成像相机能力，将温度特征传输给安保/医疗人员，而不进行人脸识别或记录温度本身。