[논문 리뷰] Understanding Policy and Technical Aspects of AI-Enabled Smart Video Surveillance to Address Public Safety

Babak Rahimi Ardabili, Armin Danesh Pazho외 6명|arXiv (Cornell University)|2023. 02. 08.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 도시 환경에서 공공 안전을 향상시키기 위해 컴퓨터 비전, 통계 분석, 클라우드 서비스 및 모바일 애플리케이션을 통합한 엔드 투 엔드, 프라이버시 보장 AI 기반 스마트 비디오 감시(SVS) 시스템을 제안한다. 자세 기반 알고리즘을 픽셀 기반 알고리즘보다 우선시함으로써 프라이버시를 강화함으로써, 행동 및 이면 감지 정확도가 각각 96→83.07 및 97.48→73.72로 감소하지만, 극한의 시나리오에서 17.8 FPS로 처리하고 평균 종단 간 지연 시간이 36.1초로, 실시간 응용 프로그램에 대한 심각한 성능 저하가 발생한다.

ABSTRACT

Recent advancements in artificial intelligence (AI) have seen the emergence of smart video surveillance (SVS) in many practical applications, particularly for building safer and more secure communities in our urban environments. Cognitive tasks, such as identifying objects, recognizing actions, and detecting anomalous behaviors, can produce data capable of providing valuable insights to the community through statistical and analytical tools. However, artificially intelligent surveillance systems design requires special considerations for ethical challenges and concerns. The use and storage of personally identifiable information (PII) commonly pose an increased risk to personal privacy. To address these issues, this paper identifies the privacy concerns and requirements needed to address when designing AI-enabled smart video surveillance. Further, we propose the first end-to-end AI-enabled privacy-preserving smart video surveillance system that holistically combines computer vision analytics, statistical data analytics, cloud-native services, and end-user applications. Finally, we propose quantitative and qualitative metrics to evaluate intelligent video surveillance systems. The system shows the 17.8 frame-per-second (FPS) processing in extreme video scenes. However, considering privacy in designing such a system results in preferring the pose-based algorithm to the pixel-based one. This choice resulted in dropping accuracy in both action and anomaly detection tasks. The results drop from 97.48 to 73.72 in anomaly detection and 96 to 83.07 in the action detection task. On average, the latency of the end-to-end system is 36.1 seconds.

연구 동기 및 목표

• 도시 환경에서 인공지능 기반 스마트 비디오 감시(SVS)를 통해 증가하는 공공 안전 수요를 해결하기 위해.
• 감시 시스템에서 개인 신원 정보(PII)를 저장하고 처리함에 따라 발생하는 프라이버시 위험을 식별하고 완화하기 위해.
• 컴퓨터 비전, 클라우드 서비스 및 모바일 애플리케이션을 통합한 엔드 투 엔드, 프라이버시 보장 SVS 아키텍처를 설계하기 위해.
• 지능형 감시 시스템의 정량적 및 정성적 성능 평가를 위한 지표를 수립하기 위해.
• 실제 SVS 구현에서 프라이버시 보장 설계의 기술적 및 윤리적 상충 관계를 분석하기 위해.

제안 방법

• 통합 감시를 위해 영상 분석, 통계 모델링, 클라우드 네이티브 서비스 및 스마트폰 애플리케이션을 결합한 다층 시스템을 개발한다.
• 정확도를 희생하여 프라이버시 위험을 줄이기 위해 픽셀 기반 알고리즘 대신 자세 기반 알고리즘을 사용한다.
• 확장 가능한 데이터 처리 및 안전한 데이터 관리를 위해 AWS 기반 클라우드 네이티브 아키텍처를 적용한다.
• 시스템 구성 요소 간의 안전하고 실시간 데이터 전송을 위해 메시지 큐잉(MQTT)과 HTTPS를 적용한다.
• 새로운 시각화 및 분석 기능을 제공하기 위해 통계 분석을 통합한다. 예: 조망도 열지도 및 점유율 추적.
• 최종 사용자에게 실시간 경고 및 분석을 제공하기 위해 모바일 애플리케이션을 구현한다.

실험 결과

연구 질문

• RQ1 AI 기반 스마트 비디오 감시 시스템 설계에 프라이버시를 체계적으로 통합하는 방법은 무엇인가?
• RQ2 행동 및 이면 감지 작업에서 프라이버시 보장 알고리즘과 정확도 간의 기술적 상충 관계는 어떻게 나타나는가?
• RQ3 자세 기반 영상 분석과 픽셀 기반 영상 분석의 선택이 시스템 성능과 지연 시간에 어떤 영향을 미치는가?
• RQ4 지능형 감시 시스템의 정량적 및 정성적 성능 평가에 효과적인 지표는 무엇인가?
• RQ5 고부하 영상 환경에서 프라이버시 보장 설계가 시스템 지연 시간과 실시간 사용성에 어떤 영향을 미치는가?

주요 결과

• 극한의 영상 시나리오에서 시스템은 17.8 FPS 처리 성능를 달성하여 고부하 조건에서도 실행 가능성 확인.
• 픽셀 기반 대비 자세 기반 알고리즘을 채택함으로써 이면 감지 정확도가 97.48%에서 73.72%로, 행동 감지 정확도가 96%에서 83.07%로 감소.
• 시스템의 평균 종단 간 지연 시간은 36.1초로, 실시간 응용 프로그램에 대한 심각한 성능 저하를 시사.
• 알고리즘적 및 아키텍처적 선택을 통해 개인 신원 정보(PII) 유출 및 비승인 데이터 접근 위험을 성공적으로 완화.
• 안전하고 확장 가능한 분석을 통해 도심 중심지, 캠퍼스, 교통 허브 및 주차장 등 다양한 공공 안전 활용 사례 지원.
• 프라이버시 보호와 정확도 간의 핵심 상충 관계를 규명하였으며, 지연 시간 및 성능 최적화를 위한 향후 연구의 필요성을 강조.