[논문 리뷰] Analyzing Worldwide Social Distancing through Large-Scale Computer Vision

Isha Ghodgaonkar, Subhankar Chakraborty외 16명|arXiv (Cornell University)|2020. 08. 27.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 15

한 줄 요약

이 연구는 코로나19 패닉 기간 동안 15개국의 11,140개의 공공 네트워크 카메라에서 수집한 시각 데이터를 처리하여 세계적인 사회적 거리 두기 준수 여부를 대규모 컴퓨터 비전 기술로 분석한다. 객체 검출 모델이 사람과 차량 수의 추세를 신뢰성 있게 추적할 수 있음을 입증하며, 일부 국가에서는 봉쇄 조치 후 활동 수준이 증가한 반면 다른 국가는 안정을 유지함을 확인하여 향후 감염 파동의 조기 경고 신호를 제공한다.

ABSTRACT

In order to contain the COVID-19 pandemic, countries around the world have introduced social distancing guidelines as public health interventions to reduce the spread of the disease. However, monitoring the efficacy of these guidelines at a large scale (nationwide or worldwide) is difficult. To make matters worse, traditional observational methods such as in-person reporting is dangerous because observers may risk infection. A better solution is to observe activities through network cameras; this approach is scalable and observers can stay in safe locations. This research team has created methods that can discover thousands of network cameras worldwide, retrieve data from the cameras, analyze the data, and report the sizes of crowds as different countries issued and lifted restrictions (also called ''lockdown''). We discover 11,140 network cameras that provide real-time data and we present the results across 15 countries. We collect data from these cameras beginning April 2020 at approximately 0.5TB per week. After analyzing 10,424,459 images from still image cameras and frames extracted periodically from video, the data reveals that the residents in some countries exhibited more activity (judged by numbers of people and vehicles) after the restrictions were lifted. In other countries, the amounts of activities showed no obvious changes during the restrictions and after the restrictions were lifted. The data further reveals whether people stay ''social distancing'', at least 6 feet apart. This study discerns whether social distancing is being followed in several types of locations and geographical locations worldwide and serve as an early indicator whether another wave of infections is likely to occur soon.

연구 동기 및 목표

• 위험한 인간 관찰자에 의존하지 않고도 전국적 사회적 거리 두기 정책의 효과를 대규모로 모니터링하기 위해.
• 공개된 네트워크 카메라 영상 스트림을 활용해 인간 활동 추세를 원격으로 확장 가능한 방법으로 관찰하기 위해.
• 다양하고 실제적인 시각 데이터에서 최신 컴퓨터 비전 모델의 사람과 차량 검출 성능을 평가하기 위해.
• 봉쇄 조치 전, 동안, 후의 군중 및 교통 수준 패턴을 식별하여 준수 정도와 잠재적 재확산 위험을 평가하기 위해.
• 공공 공간 내 행동 추세를 바탕으로 향후 감염 파동의 조기 경고 지표 시스템을 제공하기 위해.

제안 방법

• 연구진은 전 세계적으로 30,702개의 네트워크 카메라를 확보하고, 데이터 품질과 인간 활동과의 관련성 기준으로 11,140개의 활성 사용 가능한 스트림으로 필터링했다.
• 2020년 4월 1일부터 8월 1일까지 이 카메라들에서 총 10,424,459장의 이미지 및 영상 프레임을 추출하였으며, 주당 약 0.5TB의 속도로 처리했다.
• 객체 검출 모델을 적용하여 시각 데이터 내 사람(301,398건의 검출)과 차량(12,459,271건의 검출)을 검출하고 수를 세었다.
• 사회적 거리 두기 알고리즘은 경계 상자 위치와 크기를 분석하여 개인 간 거리를 평가하고, 6피트 이내로 가까이 다가온 경우 위반으로 표시했다.
• 그룹 크기를 추정하고 가족 또는 가정 단위의 집단을 탐지하기 위해 그래프 이론 기반 클러스터링을 사용했지만, 개인정보 보호 제약으로 인해 명확한 식별은 제한되었다.
• 데이터는 15개국과 2,973개 도시에 걸쳐 집계되어 인간 활동과 차량 활동의 시간적 추세를 식별했다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 기술이 글로벌 패닉 기간 동안 대규모 실시간 네트워크 카메라 데이터를 분석하여 인간 활동을 모니터링할 수 있는 정도는 어느 정도인가?
• RQ2 봉쇄 조치와 그 해제에 따라 다양한 국가에서 사람과 차량 수가 어떻게 변화하는가?
• RQ3 객체 검출 모델이 공공 카메라에서 얻은 다양한 실제 시각 데이터에서 군중 및 교통 수준을 신뢰성 있게 추정할 수 있는가?
• RQ4 다양한 지리적 및 문화적 맥락에서 사회적 거리 두기 준수 패턴은 어떻게 나타나는가?
• RQ5 네트워크 카메라에서 확보한 시각 데이터가 질병 전파 재확산의 조기 경고 신호로 기능할 수 있는가?

주요 결과

• 연구는 2020년 4월부터 8월까지 15개국의 11,140대의 네트워크 카메라에서 1,000만 장이 넘는 이미지와 영상 프레임을 수집하고 분석했다.
• 스위스나 체코 공화국 같은 일부 국가에서는 봉쇄 조치 해제 후 사람과 차량 수가 뚜렷이 증가하여 공적 활동 수준이 높아졌음을 보여주었다.
• 반면, 영국과 같은 일부 국가에서는 사람 수는 증가했지만 차량 수는 감소하여 복잡한 행동 변화가 있었음을 시사했다.
• 일부 지역에서는 봉쇄 기간 동안이나 이후에도 활동 수준에 명확한 추세가 없었으며, 이는 정책 준수의 일관성 부족이나 이동성 변화가 미미했음을 의미한다.
• 컴퓨터 비전 파이프라인은 저품질 또는 고장 난 카메라 스트림에도 불구하고 사람과 차량의 검출을 신뢰성 있게 수행하여 추세 분석이 가능했다.
• 경계 상자 분석을 통해 사회적 거리 두기 위반을 식별했으며, 결과적으로 그룹 크기와 거리 간 격차가 장소와 시간대에 따라 상당히 다름을 확인했다.