[논문 리뷰] Re-identification of Humans in Crowds using Personal, Social and Environmental Constraints

Shayan Modiri Assari, Haroon Idrees외 1명|arXiv (Cornell University)|2016. 12. 07.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 4

한 줄 요약

이 논문은 에너지 최소화 모델에 외관, 선호 속도, 군집화, 충돌 회피, 게이트 전이 확률 등의 개인적, 사회적, 환경적(PSE) 제약 조건을 통합하여 혼잡한, 겹치지 않는 카메라 네트워크에서 인간 재식별을 위한 새로운 프레임워크를 제안한다. 스토하스틱 로컬 서치와 프랭크-울프 기반의 볼록 완화 기법을 사용하여, 외관 기반 기준보다 성능을 크게 향상시켰으며, Grand Central, PRID, DukeMTMC 데이터셋에서 사회적 및 공간적 군집 제약 조건을 통합함으로써 Rank-1 성능이 3% 향상되고 Rank-5 성능이 8% 향상되었다.

ABSTRACT

This paper addresses the problem of human re-identification across non-overlapping cameras in crowds.Re-identification in crowded scenes is a challenging problem due to large number of people and frequent occlusions, coupled with changes in their appearance due to different properties and exposure of cameras. To solve this problem, we model multiple Personal, Social and Environmental (PSE) constraints on human motion across cameras. The personal constraints include appearance and preferred speed of each individual assumed to be similar across the non-overlapping cameras. The social influences (constraints) are quadratic in nature, i.e. occur between pairs of individuals, and modeled through grouping and collision avoidance. Finally, the environmental constraints capture the transition probabilities between gates (entrances / exits) in different cameras, defined as multi-modal distributions of transition time and destination between all pairs of gates. We incorporate these constraints into an energy minimization framework for solving human re-identification. Assigning $1-1$ correspondence while modeling PSE constraints is NP-hard. We present a stochastic local search algorithm to restrict the search space of hypotheses, and obtain $1-1$ solution in the presence of linear and quadratic PSE constraints. Moreover, we present an alternate optimization using Frank-Wolfe algorithm that solves the convex approximation of the objective function with linear relaxation on binary variables, and yields an order of magnitude speed up over stochastic local search with minor drop in performance. We evaluate our approach using Cumulative Matching Curves as well $1-1$ assignment on several thousand frames of Grand Central, PRID and DukeMTMC datasets, and obtain significantly better results compared to existing re-identification methods.

연구 동기 및 목표

• 외관 특징만으로는 음영과 시각적 모호성으로 인해 충분하지 않은, 겹치지 않는 카메라 간의 혼잡한 군중에서 인간 재식별 문제를 해결하기 위해.
• 카메라 구조와 조명 변화에 강건한 개인적, 사회적, 환경적 제약 조건을 통해 고차원의 시공간 관계를 모델링하기 위해.
• 선형 및 이차 PSE 제약 조건을 계산적으로 실현 가능한 방식으로 처리할 수 있는 효율적인 최적화 프레임워크를 개발하기 위해.
• 동적 운동 패tern과 사회적 행동을 통합하여 대규모 감시 환경에서 1:1 매칭 성능을 향상시키기 위해.

제안 방법

• 개인적 제약 조건은 외관 임bedding과 속도 사전 지식을 사용하여 카메라 간 일관된 외관과 선호 속도를 모델링한다.
• 사회적 제약 조건은 공간적 군집(함께 걷는 사람)과 충돌 회피(경로 갈등)를 이차 비용 함수를 통해 이원관계로 모델링한다.
• 환경적 제약 조건은 카메라 게이트 간 다중 모달 전이 확률로 학습하여, 일반적인 입구/출구 시간과 목적지를 포착한다.
• 에너지 최소화 프레임워크는 모든 PSE 제약 조건을 통합하여 재식별을 위한 통합 목표 함수를 구성한다.
• 두 가지 최적화 전략을 사용한다: 정확한 1:1 할당을 위한 스토하스틱 로컬 서치와, 볼록 완화를 위한 프랭크-울프 알고리즘으로, 이는 성능 저하가 미미한 상태에서 10배의 속도 향상을 달성한다.
• 프레임워크는 Cumulative Matching Curves와 1:1 할당 메트릭을 사용하여 Grand Central, PRID, DukeMTMC 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 개인적, 사회적, 환경적 제약 조건이 외관 유사성 외에 혼잡한 군중에서 재식별 성능을 얼마나 향상시키는가?
• RQ2 사회적 군집화와 충돌 회피 제약 조건이 겹치지 않는 카메라 설정에서 매칭 정확도를 얼마나 향상시키는가?
• RQ3 프랭크-울프 알고리즘을 통한 볼록 완화가 훨씬 감소된 계산 시간으로 근사 최적 성능을 달성할 수 있는가?
• RQ4 카메라 게이트 간 전이 시간과 목적지 확률이 대규모 감시 네트워크에서 정확한 재식별에 기여하는 방식은 무엇인가?

주요 결과

• 사회적 및 공간적 군집 제약 조건을 통합함으로써 PSE 제약 조건의 통합은 Rank-1 성능을 3% 향상시키고, Rank-5 성능을 8% 향상시켰다.
• 프랭크-울프 알고리즘은 정확도가 다소 낮아지더라도 스토하스틱 로컬 서치 대비 10배 빠른 속도 향상을 달성하여 근사 최적 성능을 유지한다.
• 모든 PSE 제약 조건을 통합한 최고의 구성은 AUC 96.27%를 기록하여, 외관 기반 기준보다 뚜렷이 뛰어난 성능을 보였다.
• 충돌 회피 제약 조건은 경로 변동성이 제한되고 보행자 밀도가 높은 환경에서 성능을 약간 떨어뜨리는 경향이 있었으며, 이는 이에 기인한 것으로 보인다.
• 사회적 군집 제약 조건은 Grand Central 데이터셋에서 많은 이들이 혼자 걷는 경우에도 매우 효과적이었으며, 강력한 분류 능력을 보였다.
• 이 방법은 다양한 데이터셋에 대해 잘 일반화되며, 실제 감시 조건에서 시각적 모호성이 심한 Grand Central, PRID, DukeMTMC에서 모두 뛰어난 강건성을 보였다.