[논문 리뷰] Crowd Pedestrian Counting Considering Network Flow Constraints in Videos.

Liqing Gao, Yanzhang Wang외 2명|arXiv (Cornell University)|2016. 05. 12.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 3

한 줄 요약

이 논문은 영상에서 보행자 수를 세는 과정에서 시간적 일관성을 향상시키기 위해 네트워크 흐름 제약 조건을 갖춘 이차계획법 접근법을 제안한다. 보행자 집단을 방향성 있는 그래프의 노드로 모델링하고 흐름 보존 조건을 적용함으로써, 프레임 단위 추정만으로는 달성할 수 없는 보다 정확하고 일관성 있는 프레임 간 수치 산출을 달성한다.

ABSTRACT

A quadratic programming method with network flow constraints is proposed to improve crowd pedestrian counting in video surveillance. Most of the existing approaches estimate the number of pedestrians within one frame, which result in inconsistent predictions in temporal domain. In this paper, firstly, we segment the foreground of each frame into different groups, each of which contains several pedestrians. Then we train a regression-based map from low level features of each group to its person number. Secondly, we construct a directed graph to simulate people flow, whose vertices represent groups of each frame and edges represent people moving from one group to another. Then, the people flow can be viewed as an integer flow in the constructed directed graph. Finally, by solving a quadratic programming problem with network flow constraints in the directed graph, we obtain a consistent pedestrian counting. The experimental results show that our method can improve the crowd counting accuracy significantly.

연구 동기 및 목표

• 프레임 단위 예측이 비자연스럽게 변동하는 시간적 일관성 문제를 해결하기 위해.
• 분할된 집단들의 방향성 그래프로 보행자 이동을 흐름으로 모델링하기 위해.
• 시간에 따라 흐름 보존을 보장하기 위해 네트워크 흐름 제약 조건을 이차계획법을 통해 적용하기 위해.
• 집단 간 공간적 및 시간적 관계를 활용하여 수치 산출 정확도를 향상시키기 위해.
• 감시 영상에서 보행자 수의 통합적이고 시간적으로 일관된 추정을 제공하기 위해.

제안 방법

• 각 영상 프레임을 다수의 보행자를 포함하는 집단으로 배경 분할하기 위해.
• 각 집단의 저수준 특징에서 보행자 수를 예측하기 위한 회귀 모델 훈련하기 위해.
• 정점이 집단을 나타내고 간선이 집단 간 이동을 나타내는 방향성 그래프 구축하기 위해.
• 시간에 따라 흐름 보존을 보장하기 위해 보행자 흐름을 정수 흐름으로 모델링하기 위해.
• 네트워크 흐름 제약 조건을 갖춘 이차계획법 최적화로 수치 산출 문제 공식화하기 위해.
• 최적화를 해결하여 시간적으로 일관되고 정확한 보행자 수 산출을 도출하기 위해.

실험 결과

연구 질문

• RQ1 왜 프레임 단위 군중 수세기에서 시간적 일관성이 떨어지는가?
• RQ2 보행자 이동을 방향성 그래프의 흐름으로 모델링하면 수치 산출 정확도가 향상되는가?
• RQ3 네트워크 흐름 제약 조건을 강제로 적용할 경우 보행자 수 일관성에 어떤 영향을 미치는가?
• RQ4 정확도 측면에서 기존의 프레임 단위 수세기 방법과 비교해 본다면 어떻게 되는가?
• RQ5 흐름 제약 조건을 갖춘 이차계획법은 기준 방법보다 더 나은 성능을 낼 수 있는가?

주요 결과

• 시간적 일관성을 강제 적용함으로써 제안된 방법이 군중 수세기 정확도를 크게 향상시켰다.
• 네트워크 흐름 제약 조건을 사용함으로써 연속된 프레임 간 예측된 보행자 수의 변동성이 감소했다.
• 기반 회귀 모델을 통한 집단 특징 매핑이 효과적으로 각 집단의 보행자 수를 추정하는 데 기여했다.
• 흐름 제약 조건을 갖춘 이차계획법은 프레임 단위 방법보다 더 신뢰성 있고 안정적인 수치 산출 결과를 도출했다.
• 영상 감시 데이터셋에서 뛰어난 성능을 보였지만, 요약문에는 구체적인 지표가 제시되지 않았다.