[논문 리뷰] Multiple object tracking with context awareness

Laura Leal-Taixé|arXiv (Cornell University)|2014. 11. 24.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 6

한 줄 요약

이 학위논문은 선형계획법(Linear Programming)을 활용한 전역 최적화를 통해 사회적 및 공간적 맥락을 통합함으로써 단일 렌즈 보행자 추적의 정확도를 향상시키는 맥락 인식 다중 객체 추적 프레임워크를 제안한다. 2D-3D 재구성과 시간적 추적을 공동으로 모델링하고, 군집 행동 및 다중 시점 공간 제약 조건을 통합함으로써, 특히 혼잡하고 가림이 자주 발생하는 상황에서 뚜렷한 정확도 향상을 달성한다.

ABSTRACT

Multiple people tracking is a key problem for many applications such as surveillance, animation or car navigation, and a key input for tasks such as activity recognition. In crowded environments occlusions and false detections are common, and although there have been substantial advances in recent years, tracking is still a challenging task. Tracking is typically divided into two steps: detection, i.e., locating the pedestrians in the image, and data association, i.e., linking detections across frames to form complete trajectories. For the data association task, approaches typically aim at developing new, more complex formulations, which in turn put the focus on the optimization techniques required to solve them. However, they still utilize very basic information such as distance between detections. In this thesis, I focus on the data association task and argue that there is contextual information that has not been fully exploited yet in the tracking community, mainly social context and spatial context coming from different views.

연구 동기 및 목표

• 자주 가림이 발생하고 잘못된 검출이 많은 혼잡한 환경에서 보행자 추적의 과제를 해결한다.
• 거리와 같은 기본 기하학적 특징에만 의존하는 전통적 데이터 연동 방법의 한계를 극복한다.
• 기존에 잘 활용되지 않는 맥락 정보—사회적 군집 행동과 다중 시점에서의 공간 맥락—을 활용하여 추적 정확도를 향상시킨다.
• 추적과 3D 재구성을 동시에 해결하는 통합 전역 최적화 프레임워크를 개발하여 궤적의 일관성을 향상시킨다.
• 맥락 인식 모델링이 복잡하고 밀도가 높은 상황에서 더 견고하고 정확한 추적을 가능하게 함을 입증한다.

제안 방법

• 모든 프레임 간 보행자 궤적을 동시에 결정하기 위한 선형계획법(based on Linear Programming)에 기반한 전역 최적화 프레임워크를 활용한다.
• 혼잡한 환경에서 추적의 견고성을 향상시키기 위해 사회적 및 군집 행동을 데이터 연동 과정에 통합하는 새로운 제약 조건을 제안한다.
• 2D-3D 할당과 시간적 추적 문제를 통합하여 단일 선형계획법(LP) 제약 조건을 사용해 동시에 재구성과 추적 최적화를 수행할 수 있도록 수식화한다.
• 다중 시점 공간 맥락을 활용하여 3D 재구성 정확도를 향상시키고, 이를 통해 2D 추적 성능도 향상시킨다.
• 다중 객체 추적에서 누락된 검출, 이상치, 입/퇴장 입자를 처리하기 위해 허긴 알고리즘(Hungarian algorithm)을 다수준 변형으로 개선한다.
• 숨은 마르코프 모델(Hidden Markov Models, HMMs)을 통한 운동 패턴 모델링을 통해 궤적을 의미 있는 운동 패턴으로 분류함으로써 맥락 인식 추적을 지원한다.

실험 결과

연구 질문

• RQ1 사회적 행동 및 군집 행동을 효과적으로 모델링하고 전역 최적화 프레임워크에 통합하여 단일 렌즈 보행자 추적의 정확도를 향상시킬 수 있는가?
• RQ2 단일 최적화 제약 조건에 2D-3D 재구성과 시간적 추적을 통합할 경우 추적 정확도에 어떤 영향을 미치는가?
• RQ3 다중 시점에서의 공간 맥락은 혼잡한 환경에서 추적 성능을 얼마나 향상시키는가?
• RQ4 맥락 인식 모델링은 가림과 잘못된 검출로 인한 추적 오류를 줄일 수 있는가?
• RQ5 거리 측정 기반의 전통적 데이터 연동 방법과 비교해 맥락 정보 통합은 어떤 성능 향상을 보이는가?

주요 결과

• 사회적 행동 및 군집 행동을 추적 프레임워크에 통합함으로써 정확도가 뚜렷이 향상되며, 특히 고밀도 상황에서 두드러진다.
• 2D-3D 재구성과 추적을 동시에 최적화하는 방식은 순차적 또는 독립적 처리 방식보다 추적 정확도 향상에 상당한 기여를 한다.
• 제안된 맥락 인식 접근 방식은 공간적 및 사회적 사전 지식을 활용하여 가림과 잘못된 검출로 인한 추적 오류를 줄인다.
• 해당 방법은 높은 검출 재현율을 달성하여, 추적 시퀀스에서 레이블이 부여된 입자 중 75%에서 90%를 복구한다.
• HMMs를 통한 운동 패턴 분류에서는 전체 시퀀스에서 83.5%에서 100%의 분류 정확도를 달성하여 패턴 전환에 대한 강건성을 입증한다.
• 매뉴얼로 레이블링된 경계 내에서 점진적인 전환 동안에도 운동 패턴 전환 기간(예: 방향 전환에서 진동으로 전환)을 성공적으로 탐지한다.