[논문 리뷰] COVID-Robot: Monitoring Social Distancing Constraints in Crowded Scenarios

Adarsh Jagan Sathyamoorthy, Utsav Patel외 3명|arXiv (Cornell University)|2020. 08. 14.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 55

한 줄 요약

본 논문은 RGB-D, CCTV, 열화상 센서를 이용하고 CCTV-로봇 융합 전략을 채택하여 시각 정보 기반의 이동 로봇 시스템이 사회적 거리 두기 위반을 감지하고, 가장 큰 비준수 그룹으로 이동하며 경고를 통해 거리 두기를 유도하는 시스템을 제시한다.

ABSTRACT

Maintaining social distancing norms between humans has become an indispensable precaution to slow down the transmission of COVID-19. We present a novel method to automatically detect pairs of humans in a crowded scenario who are not adhering to the social distance constraint, i.e. about 6 feet of space between them. Our approach makes no assumption about the crowd density or pedestrian walking directions. We use a mobile robot with commodity sensors, namely an RGB-D camera and a 2-D lidar to perform collision-free navigation in a crowd and estimate the distance between all detected individuals in the camera's field of view. In addition, we also equip the robot with a thermal camera that wirelessly transmits thermal images to a security/healthcare personnel who monitors if any individual exhibits a higher than normal temperature. In indoor scenarios, our mobile robot can also be combined with static mounted CCTV cameras to further improve the performance in terms of number of social distancing breaches detected, accurately pursuing walking pedestrians etc. We highlight the performance benefits of our approach in different static and dynamic indoor scenarios.

연구 동기 및 목표

• 착용 기기를 필요로 하지 않고 사회적 거리 두기 위반(≤6피트, ≥5초)을 감지하는 모바일 로봇 시스템 개발.
• 다양한 실내 군중에서 비준수 그룹을 향해 자율적이고 충돌 없이 탐색 가능하도록 지원.
• 이동 로봇과 고정 CCTV 카메라를 결합한 하이브리드 구성으로 위반 탐지 향상.
• 건강/보안 요원을 돕기 위한 프라이버시를 고려한 열 촬영 기능 제공.

제안 방법

• 고정 ID를 유지하며 RGB 이미지에서 Yolov3를 이용한 보행자 검출 및 추적.
• RGB-D 데이터로 깊이 기반 거리 추정하여 사람 간 거리를 계산.
• 정적 카메라 사용 시 CCTV 영상으로부터 거리를 추정하기 위한 호모그래피 기반 지상면 변환.
• 비준수 보행자의 그룹 분류를 통해 가장 큰 군집을 타깃으로 삼음(Algorithm 1).
• Frozone으로 개선된 Freezing Robot Problem을 피하는 DRL 기반 충돌 회피 정책으로 로봇을 잠긴 보행자 쪽으로 안내.
• 로봇(RGB-D) 기준 또는 지도 좌표(CCTV) 기준의 목표 위치 계산으로 DRL 정책을 구동.
• 개인정보를 보호하면서 보안/보건 인력에게 무선 전송되는 열화상 카메라 통합.

실험 결과

연구 질문

• RQ1 웨어러블 기기를 사용하지 않고 실내 환경에서 사회적 거리 두기 위반을 시스템이 얼마나 정확하게 탐지할 수 있는가?
• RQ2 CCTV 데이터와 융합될 수 있는 모바일 로봇이 군중 속에서 가장 큰 비준수 그룹으로 안정적으로 이동하고 대응할 수 있는가?
• RQ3 CCTV 데이터의 도입과 호모그래피 기반 거리 추정이 위반 탐지 및 집행 성능에 미치는 영향은 무엇인가?
• RQ4 열 촬영 경로가 프라이버시를 유지하면서 모니터링을 향상시키는가?

주요 결과

• 시스템은 RGB-D 데이터와 선택적으로 CCTV 데이터를 사용하여 사회적 거리 두기 위반(≤6피트, 최소 5초)을 감지한다.
• 실내 환경에서 RGB-D 데이터를 사용할 때 보행자 간 거리 추정의 평균 오차가 약 0.3피트에 달한다.
• 실내 시나리오에서 로봇 단독 또는 CCTV 단독 구성에 비해 하이브리드 CCTV-로봇 운용이 위반 탐지 및 집행을 최대 100% 개선할 수 있다.
• 로봇은 자율적으로 가장 큰 비준수 그룹을 우선시하고 잠긴 보행자 쪽으로 이동하며 거리 두기를 유도하기 위한 경고를 표시한다.
• 프라이버시를 보전하는 열 카메라 기능은 얼굴 인식이나 체온 자체 기록 없이 보안/의료 인력에게 체온 특징을 전송한다.