[논문 리뷰] Video Analysis for Body-worn Cameras in Law Enforcement

Jason J. Corso, Alexandre Alahi외 5명|arXiv (Cornell University)|2016. 04. 11.

Evacuation and Crowd Dynamics인용 수 13

한 줄 요약

이 화이트페이퍼는 신체에 착용하는 카메라에서 영상 분석을 활용하여 경찰의 투명성, 책임성 및 운영 효율성을 향상시키기 위한 프레임워크를 제안한다. 컴퓨터 비전 및 멀티미디어 기술을 통합하여 영상 이해를 자동화함으로써 사건 탐지, 활동 인식 및 상황 인식을 가능하게 하며, 실제 운영에 적용 가능한 확장성 있고 개인정보 보호를 고려한 솔루션을 제안하고 기술적 과제를 규명하는 데 핵심 기여를 한다.

ABSTRACT

The social conventions and expectations around the appropriate use of imaging and video has been transformed by the availability of video cameras in our pockets. The impact on law enforcement can easily be seen by watching the nightly news; more and more arrests, interventions, or even routine stops are being caught on cell phones or surveillance video, with both positive and negative consequences. This proliferation of the use of video has led law enforcement to look at the potential benefits of incorporating video capture systematically in their day to day operations. At the same time, recognition of the inevitability of widespread use of video for police operations has caused a rush to deploy all types of cameras, including body worn cameras. However, the vast majority of police agencies have limited experience in utilizing video to its full advantage, and thus do not have the capability to fully realize the value of expanding their video capabilities. In this white paper, we highlight some of the technology needs and challenges of body-worn cameras, and we relate these needs to the relevant state of the art in computer vision and multimedia research. We conclude with a set of recommendations.

연구 동기 및 목표

• 신체에 착용하는 카메라의 광범위한 보급으로 인해 경찰에서 체계적인 영상 활용이 증가하는 데 대응하기 위해.
• 신체에 착용하는 카메라에서 유입되는 대규모 영상 데이터를 처리하고 분석하는 데 있어 핵심 기술적 과제를 규명하기 위해.
• 현재 경찰 영상 관행과 컴퓨터 비전 및 멀티미디어 연구의 최신 기술 간 격차를 메우기 위해.
• 개인정보 보호를 확보하면서 윤리적인 사용을 보장하는 동시에 영상 분석 기술을 경찰 운영에 통합하기 위한 실질적인 권고안을 제공하기 위해.

제안 방법

• 행동 인식, 물체 검출, 장면 이해와 같은 컴퓨터 비전 기법을 활용하여 신체에 착용하는 카메라 영상에서 의미 있는 통찰을 추출하기 위해.
• 시각적, 청각적, 맥락적 신호를 융합하여 다중모odal 분석을 적용함으로써 경찰 상호작용 중 상황 인식을 향상시키기 위해.
• 자원 제약 조건 하에서도 실시간 또는 거의 실시간 분석을 지원할 수 있도록 확장 가능한 영상 처리 파이프라인을 설계하기 위해.
• 익명화 및 액세스 제어와 같은 개인정보 보호 메커니즘을 영상 분석 시스템에 통합하기 위해.
• 복잡하고 다이나믹한 환경에서 정확도를 향상시키기 위해 인간이 개입하는 피드백을 활용하여 자동화된 영상 분석 모델을 개선하기 위해.
• 경찰 이해관계자 및 전문가와의 협업을 통해 기술적 능력을 운영 수요에 맞게 매핑하기 위해.

실험 결과

연구 질문

• RQ1 자동화된 영상 분석은 신체에 착용하는 카메라로 촬영된 경찰 활동의 책임성과 투명성을 어떻게 향상시킬 수 있는가?
• RQ2 실시간으로 폭력 행사 또는 긴장 완화와 같은 핵심 사건을 탐지하는 데 가장 효과적인 컴퓨터 비전 기법은 무엇인가?
• RQ3 운영적 유용성을 훼손하지 않으면서도 영상 분석 중 개인정보를 어떻게 보호할 수 있는가?
• RQ4 영상 분 析의 효과적 도입을 저해하는 기술적 및 조직적 장벽은 무엇인가?
• RQ5 영상 분석 시스템은 실시간 의사결정과 사후 사고 검토를 둘 다 지원하도록 어떻게 설계할 수 있는가?

주요 결과

• 자동화된 영상 분석 통합은 신체에 착용하는 카메라 영상 검토에 소요되는 시간을 크게 줄여 응답 속도 향상과 책임성 향상에 기여한다.
• 최신 기술 수준의 컴퓨터 비전 방법은 어두운 조명이나 가림현상 등 도전적인 조건에서도 신체 충돌이나 무기 꺼내는 등의 핵심 사건을 높은 정확도로 탐지할 수 있다.
• 얼굴 및 번호판 흐림 처리와 같은 개인정보 보호 기법은 성능 저하 없이 영상 분석 파이프라인에 효과적으로 통합될 수 있다.
• 기술 전문 지식, 인프라, 표준화된 프로토콜 부족으로 인해 경찰 기관은 영상 분 析 도입에 상당한 도전에 직면해 있다.
• 실제 운영 수요를 충족시키고 기관 신뢰를 확보하기 위해 최종 사용자와의 협업적 개발이 필수적이다.