[论文解读] Analyzing Worldwide Social Distancing through Large-Scale Computer Vision

Isha Ghodgaonkar, Subhankar Chakraborty+16 more|arXiv (Cornell University)|Aug 27, 2020

Video Surveillance and Tracking Methods参考文献 33被引用 15

一句话总结

本研究利用大规模计算机视觉技术，通过从全球15个国家的11,140个公共网络摄像头中提取并处理视觉数据，分析了COVID-19疫情期间全球范围内的社交距离遵守情况。研究结果表明，目标检测模型能够可靠地追踪人群和车辆数量的变化趋势，揭示了部分国家在封锁解除后活动水平上升，而另一些国家则保持稳定，为潜在的感染波峰提供了早期预警信号。

ABSTRACT

In order to contain the COVID-19 pandemic, countries around the world have introduced social distancing guidelines as public health interventions to reduce the spread of the disease. However, monitoring the efficacy of these guidelines at a large scale (nationwide or worldwide) is difficult. To make matters worse, traditional observational methods such as in-person reporting is dangerous because observers may risk infection. A better solution is to observe activities through network cameras; this approach is scalable and observers can stay in safe locations. This research team has created methods that can discover thousands of network cameras worldwide, retrieve data from the cameras, analyze the data, and report the sizes of crowds as different countries issued and lifted restrictions (also called ''lockdown''). We discover 11,140 network cameras that provide real-time data and we present the results across 15 countries. We collect data from these cameras beginning April 2020 at approximately 0.5TB per week. After analyzing 10,424,459 images from still image cameras and frames extracted periodically from video, the data reveals that the residents in some countries exhibited more activity (judged by numbers of people and vehicles) after the restrictions were lifted. In other countries, the amounts of activities showed no obvious changes during the restrictions and after the restrictions were lifted. The data further reveals whether people stay ''social distancing'', at least 6 feet apart. This study discerns whether social distancing is being followed in several types of locations and geographical locations worldwide and serve as an early indicator whether another wave of infections is likely to occur soon.

研究动机与目标

• 在不依赖高风险人工观察者的情况下，大规模监测全国范围社交距离政策在COVID-19疫情期间的实施效果。
• 开发一种可扩展的远程方法，利用公开的网络摄像头画面监测人类活动趋势。
• 评估最先进计算机视觉模型在多样化、真实世界视觉数据中检测人群和车辆的表现。
• 识别封锁前、封锁中及封锁后人群和交通水平的模式，以评估合规性及潜在反弹风险。
• 基于公共场所行为趋势，建立潜在未来感染波峰的早期预警指标系统。

提出的方法

• 研究人员在全球范围内发现30,702个网络摄像头，并根据数据质量和与人类活动的相关性，筛选出11,140个活跃且可用的视频流。
• 在2020年4月1日至8月1日期间，从这些摄像头中提取了10,424,459张图像和视频帧，每周数据量约为0.5TB。
• 应用目标检测模型对视觉数据中的人群（301,398次检测）和车辆（12,459,271次检测）进行检测与计数。
• 通过分析边界框的位置和大小，采用社交距离算法评估人与人之间的距离，当个体间距小于6英尺时即标记为违规。
• 采用基于图论的聚类方法估算群体规模并检测潜在的家庭或同住群体，尽管隐私限制使得无法进行确切识别。
• 将数据在15个国家和2,973个城市范围内聚合，以识别人类活动和车辆活动的时间趋势。

实验结果

研究问题

• RQ1 计算机视觉在多大程度上能够分析大规模、实时的网络摄像头数据，以监测全球大流行期间的人类活动？
• RQ2 不同国家在实施封锁政策及其后续解除后，人群和车辆数量如何变化？
• RQ3 目标检测模型是否能够在多样化、真实世界的公共摄像头视觉数据中可靠地估算人群和交通水平？
• RQ4 在不同地理和文化背景下，社交距离遵守情况呈现出何种模式？
• RQ5 网络摄像头的视觉数据能否作为疾病传播潜在反弹的早期指标？

主要发现

• 本研究在2020年4月至8月期间，从全球15个国家的11,140个网络摄像头中收集并分析了超过1000万张图像和视频帧。
• 在瑞士和捷克等国家，封锁措施解除后，人群和车辆数量显著增加，表明公众活动水平上升。
• 相比之下，英国等国家在封锁后出现人群数量上升但车辆数量下降的现象，表明行为模式复杂多变。
• 部分地点在封锁期间或之后未表现出明显的活动水平趋势，表明政策遵守不一致或移动性变化较小。
• 计算机视觉处理流程实现了人群和车辆的可靠检测，即使在低质量或画面冻结的摄像头流中也能支持趋势分析。
• 通过边界框分析识别出社交距离违规行为，结果显示群体规模和人员间距在不同地点和时间段内存在显著差异。