[論文レビュー] Analyzing Worldwide Social Distancing through Large-Scale Computer Vision

Isha Ghodgaonkar, Subhankar Chakraborty+16 more|arXiv (Cornell University)|Aug 27, 2020

Video Surveillance and Tracking Methods参考文献 33被引用数 15

ひとこと要約

本研究では、15か国にまたがる11,140台の公共ネットワークカメラから得た視覚データを抽出・処理することで、COVID-19パンデミック期における世界的なソーシャルディスタンス遵守状況を大規模なコンピュータビジョンを用いて分析した。オブジェクト検出モデルが人々と車両の数のトレンドを信頼性高く追跡できることを示し、一部の国ではロックダウン解除後に活動レベルが上昇した一方で、他の国では安定したままだったことが明らかになった。これにより、感染拡大の可能性を示唆する早期の兆候が得られた。

ABSTRACT

In order to contain the COVID-19 pandemic, countries around the world have introduced social distancing guidelines as public health interventions to reduce the spread of the disease. However, monitoring the efficacy of these guidelines at a large scale (nationwide or worldwide) is difficult. To make matters worse, traditional observational methods such as in-person reporting is dangerous because observers may risk infection. A better solution is to observe activities through network cameras; this approach is scalable and observers can stay in safe locations. This research team has created methods that can discover thousands of network cameras worldwide, retrieve data from the cameras, analyze the data, and report the sizes of crowds as different countries issued and lifted restrictions (also called ''lockdown''). We discover 11,140 network cameras that provide real-time data and we present the results across 15 countries. We collect data from these cameras beginning April 2020 at approximately 0.5TB per week. After analyzing 10,424,459 images from still image cameras and frames extracted periodically from video, the data reveals that the residents in some countries exhibited more activity (judged by numbers of people and vehicles) after the restrictions were lifted. In other countries, the amounts of activities showed no obvious changes during the restrictions and after the restrictions were lifted. The data further reveals whether people stay ''social distancing'', at least 6 feet apart. This study discerns whether social distancing is being followed in several types of locations and geographical locations worldwide and serve as an early indicator whether another wave of infections is likely to occur soon.

研究の動機と目的

• 本研究では、危険を伴う人間の観察者に依存せずに、パンデミック期に全国的なソーシャルディスタンス政策の効果を大規模に監視することを目的とする。
• 公開可能なネットワークカメラの映像を活用した、遠隔で実行可能なスケーラブルな人間活動トレンド観測手法の開発を目的とする。
• 最先端のコンピュータビジョンモデルが、多様な現実世界の視覚データから人々と車両を検出する性能を評価することを目的とする。
• ロックダウンの前後における集団や交通量のパターンを特定し、遵守状況や再発のリスクを評価することを目的とする。
• 公共空間における行動トレンドに基づき、将来の感染拡大の可能性を示す早期警戒インジケーターシステムを提供することを目的とする。

提案手法

• 研究者たちは世界中に30,702台のネットワークカメラを特定し、データ品質と人間活動との関連性に基づいて11,140件の稼働可能で利用可能な映像ストリームに絞り込んだ。
• 2020年4月1日から8月1日までの間、これらのカメラから10,424,459枚の画像および動画フレームを抽出し、週約0.5TBのペースで処理した。
• オブジェクト検出モデルを用いて、視覚データ内にいる人々（301,398件の検出）と車両（12,459,271件の検出）を検出し、数を数えた。
• ソーシャルディスタンスアルゴリズムは、バウンディングボックスの位置とサイズを分析して人間同士の距離を評価し、6フィート未満の距離で個人が接近している場合に違反をマークした。
• グループのサイズを推定し、家族や世帯単位のクラスタを検出するために、グラフ理論に基づくクラスタリング手法を用いたが、プライバシー制限のため、明確な同定は制限された。
• データは15か国および2,973の都市にわたり集約され、人間活動および車両活動の時間的トレンドを特定した。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンは、パンデミック期に大規模かつリアルタイムのネットワークカメラデータを分析し、人間活動を監視できるか、その程度はどの程度か？
• RQ2 ロックダウン政策の施行および解除に伴い、異なる国々で人々と車両の数はどのように変化するか？
• RQ3 オブジェクト検出モデルは、公共カメラから得られる多様で現実世界の視覚データにおいて、集団や交通量を信頼性高く推定できるか？
• RQ4 異なる地理的・文化的文脈において、ソーシャルディスタンス遵守のパターンはどのように現れるか？
• RQ5 ネットワークカメラからの視覚データは、感染拡大の再発を示す早期インジケーターとして機能できるか？

主な発見

• 本研究では、2020年4月から8月にかけて、15か国にまたがる11,140台のネットワークカメラから1000万枚を超える画像および動画フレームを収集・分析した。
• スイスやチェコでは、ロックダウン制限の解除後、人々と車両の数が顕著に増加し、公的活動の増加を示した。
• 一方、イギリスでは、人々の数は上昇したが、車両の数は減少したため、行動の複雑な変化が示された。
• 一部の場所では、ロックダウン時およびその後に明確な活動トレンドが見られず、政策遵守の不一致や移動量の変化の少なさが示された。
• コンピュータビジョンパイプラインは、低品質または凍結したカメラストリームの課題にもかかわらず、人々と車両の検出を信頼性高く実行でき、トレンド分析が可能になった。
• バウンディングボックス分析により、ソーシャルディスタンス違反が同定された。その結果、グループのサイズや接近度は、場所や時間帯によって顕著に異なることが明らかになった。