[논문 리뷰] Decision-Theoretic Coordination and Control for Active Multi-Camera Surveillance in Uncertain, Partially Observable Environments

Prabhu Natarajan, Trong Nghia Hoang외 2명|arXiv (Cornell University)|2012. 09. 19.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 11

한 줄 요약

이 논문은 불확실하고 부분 관측 가능한 감시 환경에서 다수의 이동 대상을 추적하고 관찰하기 위해 활성 PTZ 카메라를 조율하기 위한 POMDP 기반의 의사결정 이론적 프레임워크를 제안한다. 대상 상태에 대한 베이지안 신뢰도를 유지하고 고해상도 관측을 최대화할 수 있도록 카메라 동작을 최적화함으로써, 대상 수에 대해 선형 확장성을 가지며 실시간 성능을 달성하며, 시뮬레이션 및 AXIS 214 카메라를 사용한 실제 실험에서 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

A central problem of surveillance is to monitor multiple targets moving in a large-scale, obstacle-ridden environment with occlusions. This paper presents a novel principled Partially Observable Markov Decision Process-based approach to coordinating and controlling a network of active cameras for tracking and observing multiple mobile targets at high resolution in such surveillance environments. Our proposed approach is capable of (a) maintaining a belief over the targets' states (i.e., locations, directions, and velocities) to track them, even when they may not be observed directly by the cameras at all times, (b) coordinating the cameras' actions to simultaneously improve the belief over the targets' states and maximize the expected number of targets observed with a guaranteed resolution, and (c) exploiting the inherent structure of our surveillance problem to improve its scalability (i.e., linear time) in the number of targets to be observed. Quantitative comparisons with state-of-the-art multi-camera coordination and control techniques show that our approach can achieve higher surveillance quality in real time. The practical feasibility of our approach is also demonstrated using real AXIS 214 PTZ cameras

연구 동기 및 목표

• 대규모이고 장애물이 많은 감시 환경에서 대상 추적을 위해 넓은 시야의 정적 카메라에 의존하지 않도록 하는 것.
• 가림이 발생하는 동안에도 대상 상태(위치, 방향, 속도)에 대한 확률적 신뢰도를 유지하여 부분 관측 문제를 해결하는 것.
• 활성 PTZ 카메라를 조율하여 동시에 신뢰도 정확도를 향상시키고 고해상도로 관측 가능한 대상 수를 최대화하는 것.
• 운동 및 관측 모델에서 조건부 독립성을 구조적으로 활용하여 대상 수에 비례한 선형 시간 확장성을 달성하는 것.
• 실제 AXIS 214 PTZ 카메라를 사용하여 실제 환경에서의 실현 가능성을 입증하는 것.

제안 방법

• 감시 문제를 불확실한 대상 운동과 카메라 관측을 모델링하는 부분 관측 마르코프 결정 과정(POMDP)으로 공식화한다.
• 베이지안 신뢰도 갱신을 통해 시간이 지남에 따라 대상 상태(위치, 방향, 속도)에 대한 확률적 추정치를 유지하고 개선한다.
• 예상 고해상도 관측 수를 최대화할 수 있도록 카메라 동작(팬, 타일트, 줌)을 선택하는 의사결정 이론적 정책을 적용한다.
• 운동 및 관측 모델에서 대상 간 조건부 독립성을 활용하여 정책 계산 시간을 대상 수에 대해 지수적에서 선형 시간으로 감소시킨다.
• 제한된 시야 깊이를 갖춘 활성 카메라를 校정하여 정확하고 오차가 적은 관측을 보장하고, 신뢰도 정확도를 향상시킨다.
• 시각 기반의 대상 탐지 및 추적을 POMDP 프레임워크에 통합하여 고해상도 관측을 통해 불확실성을 감소시킨다.

실험 결과

연구 질문

• RQ1 다수의 이동 대상을 부분 관측 가능하고 가림이 있는 환경에서 유지하는 고해상도 관측을 위해 활성 PTZ 카메라 네트워크를 어떻게 조율할 수 있는가?
• RQ2 가림으로 인한 간헐적 관측 상황에서도 POMDP 기반 접근법이 대상 위치, 방향, 속도에 대한 정확한 신뢰도 상태를 유지하는 데 효과적인가?
• RQ3 POMDP 기반 조율의 계산 복잡도를 줄여 대규모 감시 시나리오에서 실시간 성능을 달성할 수 있는가?
• RQ4 정적 넓은 시야 카메라나 노이즈가 많은 저해상도 추적에 의존하는 방법과 비교했을 때, 신뢰도 기반 접근법은 어떤 성능 향상을 제공하는가?
• RQ5 실제 물리적 PTZ 카메라를 사용한 실현 가능한 환경에서 POMDP 기반 컨트롤러는 베이스라인 전략보다 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 실제 실험에서 AXIS 214 PTZ 카메라를 사용한 결과, 한 대의 대상에 대해 98.2%의 대상 관측률을 기록하였고, 다섯 대의 대상에 대해서는 87%의 관측률을 달성하였다.
• 특히 가림 및 노이즈가 많은 저해상도 추적 상황에서 최신 기술(MP, MSP, Sys, Stat)보다 뛰어난 성능을 보였다.
• 베이지안 신뢰도 갱신 과정을 통해 관측이 불가능한 기간 동안에도 대상의 방향과 속도를 정확히 추적할 수 있었으며, 부분 관측 상황에서 실패하는 MDP 기반 방법과는 대조적으로 성능을 유지를 하였다.
• 운동 및 관측 모델에서 조건부 독립성을 활용하여 대상 수에 대해 선형 시간 확장성을 달성하였다.
• 실제 카메라 실험과 공개된 데모 비디오를 통해 검증된 바와 같이, 실제 환경 구현에서도 뛰어난 안정성과 실용성을 확보하였다.