[논문 리뷰] Computer Vision-based Social Distancing Surveillance Solution with Optional Automated Camera Calibration for Large Scale Deployment

Sreetama Das, Anirban Nag외 5명|arXiv (Cornell University)|2021. 04. 22.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 5

한 줄 요약

이 논문은 공공 공간에서 실시간 사회적 거리 두기 감시를 위한 컴퓨터 비전 기반 AI 시스템을 제시한다. 사람 탐지, 추적 및 거리 위반 분석을 통해 작동하며, 수동 및 자동 캘리브레이션을 지원하여 확장 가능한 구현을 가능하게 하고, 얼굴 흐림 처리를 통해 개인정보를 보호한다. 다양한 상황에서 높은 성능을 발휘하며 최소한의 지연 시간을 유지한다.

ABSTRACT

Social distancing has been suggested as one of the most effective measures to break the chain of viral transmission in the current COVID-19 pandemic. We herein describe a computer vision-based AI-assisted solution to aid compliance with social distancing norms. The solution consists of modules to detect and track people and to identify distance violations. It provides the flexibility to choose between a tool-based mode or an automated mode of camera calibration, making the latter suitable for large-scale deployments. In this paper, we discuss different metrics to assess the risk associated with social distancing violations and how we can differentiate between transient or persistent violations. Our proposed solution performs satisfactorily under different test scenarios, processes video feed at real-time speed as well as addresses data privacy regulations by blurring faces of detected people, making it ideal for deployments.

연구 동기 및 목표

• 공공 지역에서의 사회적 거리 두기 준수를 모니터링하기 위한 확장 가능하고 실시간인 컴퓨터 비전 시스템을 개발하는 것.
• 대규모 구현에서 다양한 카메라 설정 간 정확한 거리 측정 문제를 해결하는 것.
• 수동 또는 자동 캘리브레이션을 통한 유연한 캘리브레이션 방법을 제공하여 다양한 환경에서 효율적인 구현을 가능하게 하는 것.
• 개인 정보 보호 규정을 준수하기 위해 영상 피드에서 탐지된 얼굴을 흐리게 처리함으로써 개인 신원을 보호하는 것.
• 위반 지속 시간, 근접도, 빈도를 기반으로 위험 평가 지표를 활용해 일시적 위반과 지속적 위반을 구분하는 것.

제안 방법

• 시스템은 영상 스트림에서 다중 객체 추적을 위해 YOLO 기반의 사람 탐지와 DeepSORT를 활용한다.
• 이미지 평면에서의 2차원 좌표를 사용해 사람 간 거리를 계산하고, 캘리브레이션된 스케일 요소를 적용하여 실질적 거리 추정을 수행한다.
• 장면 내 알려진 기준점들을 사용하는 옵션 모듈을 통해 도구 기반 방법 또는 자동 캘리브레이션 모듈을 통한 카메라 캘리브레이션을 지원한다.
• 지속 시간, 근접도, 빈도를 기반으로 위반을 평가하는 위험 점수 기반 메커니즘이 일시적과 지속적 위반을 구분한다.
• 개인 정보 보호 규정을 준수하고 개인 신원을 보호하기 위해 모든 탐지된 사람의 얼굴에 흐림 처리를 적용한다.
• 시스템은 실시간 영상 처리를 수행하며, 운영용 감시에 적합한 낮은 지연 시간을 유지한다.

실험 결과

연구 질문

• RQ1 어떻게 컴퓨터 비전 시스템이 실시간으로 사람을 정확히 탐지하고 추적하면서도 사람 간 거리를 측정할 수 있는가?
• RQ2 대규모 구현에 적합하면서도 전문가의 간섭 없이 작동할 수 있는 가장 효과적인 카메라 캘리브레이션 방법은 무엇인가?
• RQ3 어떻게 사회적 거리 두기 위반을 일시적 사건과 지속적 사건으로 의미 있게 구분할 수 있는가?
• RQ4 공중 보건 준수를 위한 감시 시스템에 통합할 수 있는 기술적 조치와 개인정보 보호 조치는 무엇인가?
• RQ5 이 시스템은 다양한 실제 구현 환경에서 얼마나 잘 성능을 유지하는가?

주요 결과

• 시스템은 실시간 영상 피드 처리를 수행하며, 실시간 감시 응용에 적합한 낮은 지연 시간을 달성한다.
• 자동 카메라 캘리브레이션 모듈은 수동 캘리브레이션 없이도 정확한 거리 추정을 가능하게 하여 구현 오버헤드를 크게 줄인다.
• 위험 평가 프레임워크는 일시적이고 비의도적인 근접 이벤트와 개입이 필요한 지속적 위반을 성공적으로 구분한다.
• 모든 탐지된 개인에 대해 얼굴 흐림 처리가 효과적으로 적용되어 개인정보 보호 기준을 준수한다.
• 다양한 조명 조건, 혼잡도, 카메라 각도를 포함한 여러 테스트 시나리오에서 높은 성능을 발휘한다.
• 자동 캘리브레이션과 개인정보 보호 설계의 조합으로 인해 이 시스템은 대규모 실생활 구현에 적합하다.