[論文レビュー] COVID-Robot: Monitoring Social Distancing Constraints in Crowded Scenarios

Adarsh Jagan Sathyamoorthy, Utsav Patel+3 more|arXiv (Cornell University)|Aug 14, 2020

Video Surveillance and Tracking Methods参考文献 21被引用数 55

ひとこと要約

本論文は、視覚-guidedなモバイルロボットシステムを用いて、ソーシャルディスタンシング違反を検出し、最大の非遵守グループへナビゲートし、警告によって距離維持を促す。RGB-D、CCTV、熱センサと CCTV-ロボット統合戦略を用いる。

ABSTRACT

Maintaining social distancing norms between humans has become an indispensable precaution to slow down the transmission of COVID-19. We present a novel method to automatically detect pairs of humans in a crowded scenario who are not adhering to the social distance constraint, i.e. about 6 feet of space between them. Our approach makes no assumption about the crowd density or pedestrian walking directions. We use a mobile robot with commodity sensors, namely an RGB-D camera and a 2-D lidar to perform collision-free navigation in a crowd and estimate the distance between all detected individuals in the camera's field of view. In addition, we also equip the robot with a thermal camera that wirelessly transmits thermal images to a security/healthcare personnel who monitors if any individual exhibits a higher than normal temperature. In indoor scenarios, our mobile robot can also be combined with static mounted CCTV cameras to further improve the performance in terms of number of social distancing breaches detected, accurately pursuing walking pedestrians etc. We highlight the performance benefits of our approach in different static and dynamic indoor scenarios.

研究の動機と目的

• ウェアラブルを必要とせず、ソーシャルディスタンシング違反（6フィート以下で5秒以上）を検出するモバイルロボットシステムを開発する。
• さまざまな室内の群衆に対して、衝突のない自律誘導で非遵守グループへ移動できるようにする。
• モバイルロボットと静的CCTVカメラを組み合わせたハイブリッド構成で違反検出を強化する。
• 保健・安全担当者を支援するために、プライバシーに配慮した熱画像機能を提供する。

提案手法

• RGB画像上でYolov3を用いた歩行者検出と追跡（追跡が安定したID）。
• RGB-Dデータによる深度対応距離推定で人と人の間距離を算出。
• 静的カメラ使用時にCCTV映像から距離を推定するためのホモグラフィーに基づく地平面変換。
• 非遵守歩行者のグループ分類を行い、最大クラスターをターゲットにする（アルゴリズム1）。
• Frozoneで改良したDRLベースの衝突回避ポリシーを用い、Freezing Robot Problemを回避し、ロボットを拘束された歩行者へ誘導する。
• ロボット（RGB-D）または地図座標（CCTV）に対するゴール位置の計算を行い、DRLポリシーを駆動する。
• プライバシーを保護しつつ、セキュリティ/医療関係者へワイヤレス送信される熱画像カメラの統合。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブル機器なしで、室内環境におけるソーシャルディスタンシング違反をどの程度正確に検出できるか？
• RQ2 CCTVデータと統合された可能性のあるモバイルロボットは、混雑の中で最大の非遵守グループへ確実に移動して対応できるか？
• RQ3 CCTVデータとホモグラフィーに基づく距離推定の導入が違反検出・執行性能に与える影響はどの程度か？
• RQ4 熱画像経路はプライバシーを保護しつつ監視を改善するか？

主な発見

• RGB-Dデータを用いて、必要に応じてCCTVデータと組み合わせて、ソーシャルディスタンシング違反（5秒以上、6フィート以下）を検出する。
• 室内環境でRGB-Dデータを使用した場合、歩行者間距離の推定誤差は平均約0.3フィート。
• ハイブリッドCCTV-ロボット運用は、室内シナリオにおいてロボットのみまたはCCTVのみの構成と比べて違反検出と執行を最大で100%改善できる。
• ロボットは自動的に最大の非遵守グループを優先し、拘束された歩行者へ移動して距離確保を促す警告を表示する。
• プライバシーを保護する熱画像カメラ機能は、顔認識や体温の記録を伴わずに温度信号をセキュリティ/医療関係者へ送信する。