[논문 리뷰] sZoom: A Framework for Automatic Zoom into High Resolution Surveillance Videos

Mukesh Saini, Benjamin Guthier외 3명|arXiv (Cornell University)|2019. 09. 23.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 9

한 줄 요약

sZoom는 고해상도 감시 영상의 민감한 영역을 의미적 신호(운동, 인체, 얼굴)를 사용해 동적으로 줌 인하는 자동 영상 리타겟링 프레임워크이다. 커버리지 보장을 위한 다변량 정규 분포 페널티와 반복적으로 개선되는 삼차 스퍼인 보간을 통해 부드러운 줌 인을 구현한다. 이는 보안 운영자에게 정보 획득을 평균 99% 향상시키고, 스케일링된 영상 대비 유용성 평가를 46% 향상시키며, 기준 처리 시간의 5%로 근접 실시간 성능을 달성한다.

ABSTRACT

Current cameras are capable of recording high resolution video. While viewing on a mobile device, a user can manually zoom into this high resolution video to get more detailed view of objects and activities. However, manual zooming is not suitable for surveillance and monitoring. It is tiring to continuously keep zooming into various regions of the video. Also, while viewing one region, the operator may miss activities in other regions. In this paper, we propose sZoom, a framework to automatically zoom into a high resolution surveillance video. The proposed framework selectively zooms into the sensitive regions of the video to present details of the scene, while still preserving the overall context required for situation assessment. A multi-variate Gaussian penalty is introduced to ensure full coverage of the scene. The method achieves near real-time performance through a number of timing optimizations. An extensive user study shows that, while watching a full HD video on a mobile device, the system enhances the security operator's efficiency in understanding the details of the scene by 99% on the average compared to a scaled version of the original high resolution video. The produced video achieved 46% higher ratings for usefulness in a surveillance task.

연구 동기 및 목표

• 소형 모바일 디스플레이에서 수동 줌 인이 비현실적이고 오류가 많을 때 고해상도 감시 영상 모니터링의 과제를 해결하기 위해.
• 장면 커버리지를 유지하면서도 민감한 영역의 가시성을 향상시키는 맥락을 유지하는 자동 줌 인 기능을 제공하기 위해.
• 실시간으로 의미적으로 중요한 영역을 동적으로 우선순위 정렬하고 줌 인하여 운영자 효율성과 상황 인식 능력을 향상시키기 위해.
• 정확도 손실이 크지 않은 범위에서 해상도 감소 및 시간 최적화를 통해 모바일 배포를 위한 성능 최적화를 위해.

제안 방법

• 소음을 줄이기 위해 4프레임 윈도우 동안 운동, 인체, 얼굴 등의 융합된 의미적 관측치를 기반으로 감도 탐지 수행.
• 이미 줌 인된 영역가 우선순위가 낮아지는 것을 보장하기 위해 감쇠하는 다변량 정규 분포 페널티 맵 적용으로 장기적으로 전체 장면 커버리지 유도.
• 의미적 관심 영역(ROI) 추적에 평균 이동 기법을 통합하고 반복적으로 개선되는 삼차 스퍼인 함수를 사용해 매끄럽고 자연스러운 줌 전환 생성.
• 정확도 손실이 최소한이 되도록 전경에 대해 60%, 신체 탐지에 대해 80%로 해상도를 낮춘 상태에서 입력을 처리하여 계산 부담 감소.
• 팬 및 줌 파라미터의 삼차 스퍼인 보간을 통해 줌 트랙젝터리 생성하고, 추적 피드백 기반으로 반복적으로 개선하여 이동 대상에 대해 일관된 줌 인 구현.
• 온라인 처리를 위한 설계로, 최소 지연 시간을 보장하며 모바일 기기에서 실시간 운영 가능.

실험 결과

연구 질문

• RQ1 고해상도 감시 영상에서 민감한 영역에 자동 줌 인을 적용하면 모바일 기기에서의 감시 작업에서 운영자 효율성이 향상되는가?
• RQ2 수동 개입 없이 중요한 영역에 집중하면서도 전체 장면 커버리지를 보장할 수 있는 시스템은 어떻게 설계할 수 있는가?
• RQ3 시간 및 해상도 최적화를 통해 처리 시간을 얼마나 줄일 수 있으며, 실시간 감시 응용에서 정확도 손실 없이 유지할 수 있는가?
• RQ4 ROI 추적과 부드러운 줌 인 보간의 통합이 줌 인 영상의 자연스러움과 사용성에 어떤 영향을 미치는가?
• RQ5 다변량 정규 분포 페널티가 동적인 감시 환경에서 감도 탐지와 장면 커버리지의 균형을 어떻게 조절하는가?

주요 결과

• sZoom 프레임워크는 원본 고해상도 영상의 스케일링된 버전을 시청하는 것과 비교해 평균 정보 획득을 99% 향상시켰다.
• 기준 스케일링 영상 대비 감시 작업에서 46% 높은 유용성 평가를 기록하여 더 강한 인지적 유용성을 나타냈다.
• 해상도 감소 및 최적화를 통해 처리 시간을 원래 기준 시간의 5%로 줄여 근접 실시간 성능 달성.
• 개선된 감도 탐지 및 반복적인 스퍼인 보간 개선 덕분에 초도 버전 대비 추적 정확도를 42% 향상시켰다.
• 4프레임 누적 윈도우를 사용할 경우 운동, 신체, 얼굴 탐지기에서 최적의 탐지 정확도를 달성하여 반응성과 노이즈 감소의 균형을 이뤘다.
• 저해상도 입력을 사용할 경우 F1 스코어 감소를 약 0.05로 줄여 최적화 조건에서도 정확도 손실이 최소한임을 입증했다.