[논문 리뷰] Globally Consistent Multi-People Tracking using Motion Patterns

Andrii Maksai, Xinchao Wang외 2명|arXiv (Cornell University)|2016. 12. 02.

Video Surveillance and Tracking Methods참고 문헌 7인용 수 15

한 줄 요약

이 논문은 학습된 운동 패턴을 활용하여 궤적 연결을 향상시키는 전역적으로 일관된 다수 인물 추적 방법을 제안한다. 실제 데이터에서 학습하거나 반복적으로 비지도 학습 방식으로 학습한 행동 패턴과 일치하는 트랙렛을 전역 최적화 목표로 정의함으로써, 여러 최신 추적기에서 성능을 크게 향상시키며, 정확도가 높은 검출 결과가 주어져도 최신 기준 IDF₁ 점수를 달성한다.

ABSTRACT

Many state-of-the-art approaches to people tracking rely on detecting them in each frame independently, grouping detections into short but reliable trajectory segments, and then further grouping them into full trajectories. This grouping typically relies on imposing local smoothness constraints but almost never on enforcing more global constraints on the trajectories. In this paper, we propose an approach to imposing global consistency by first inferring behavioral patterns from the ground truth and then using them to guide the tracking algorithm. When used in conjunction with several state-of-the-art algorithms, this further increases their already good performance. Furthermore, we propose an unsupervised scheme that yields almost similar improvements without the need for ground truth.

연구 동기 및 목표

• 지역적 부드러움을 넘어서 전역적인 행동 제약 조건을 통합하여 다수 인물 추적에서 신원 전환과 궤적 분할 문제를 해결한다.
• 기본 궤적에서 학습된 운동 패턴을 활용하여 트랙렛 연관을 안내하는 방법을 개발한다.
• 지상 진술 데이터가 필요 없는 비지도 설정으로 방법을 확장한다.
• 장기적인 운동 패턴을 포괄하는 비국소적 목표 함수를 사용하여 전역적으로 최적의 궤적 연결을 가능하게 한다.
• 다양한 데이터셋과 기본 추적기에서 일관된 성능 향상을 입증한다.

제안 방법

• 해당 방법은 궤적과 추론된 운동 패턴 간의 호환성을 측정하는 목표 함수를 정의한다.
• 학습 시에는 지상 진술 궤적을 사용하여 목표 함수를 최대화하는 운동 패턴을 학습한다.
• 추론 시에는 학습된 패턴이 기본 추적기에서 생성된 트랙렛의 연결을 안내하여 전역적으로 일관된 궤적을 생성한다.
• 비지도 반복적 방법은 현재 패턴에서 궤적을 계산하고, 현재 궤적 집합에서 다시 패턴을 추정하는 방식으로 번갈아가며 수행된다.
• 최적화는 정수 프로그래밍을 통해 전역 배치 문제로 공식화되며, 프레임당 사람 수에 따라 초선형적으로 복잡도가 증가한다.
• 이 방법은 평가에서 사용된 선형 운동 패턴 외의 다양한 패턴 정의를 지원하는 일반성 있는 접근법이다.

실험 결과

연구 질문

• RQ1 지상 진술 데이터에서 학습된 전역 운동 패턴이 다수 인물 추적의 일관성과 정확도를 향상시킬 수 있는가?
• RQ2 기존 트랙렛 기반 추적 파이프라인에 전역 행동 제약 조건을 통합할 경우 성능 향상은 어느 정도 기대할 수 있는가?
• RQ3 지상 진술 데이터에 접근할 수 없는 비지도 설정에서도 성능 향상 효과를 재현할 수 있는가?
• RQ4 정확한 검출 결과를 사용할 경우 제안된 방법이 최신 기준 추적기와 비교해 어떻게 성능을 내는가?
• RQ5 패턴 기반 최적화를 통한 전역 일관성 강제의 계산 비용은 얼마인가?

주요 결과

• 지도 학습 방법은 유일한 하나의 데이터셋 제외하고 모든 데이터셋에서 IDF₁ 점수를 향상시키며, 모든 벤치마크에서 일관된 평균 향상이 관찰된다.
• 비지도 변형은 지도 학습 버전과 거의 동일한 성능을 달성하며, 한 데이터셋에서만 IDF₁ 점수 0.01 감소를 보였다.
• 지상 진술 검출 결과를 사용할 경우, Town에서 IDF₁ 0.93, ETH에서 0.92, Hotel에서 0.94, Station에서 0.70를 기록하여 모든 베이스라인을 초월한다.
• 동일한 지상 진술 검출 조건에서 MOTA는 Town에서 0.98, ETH에서 0.94, Hotel에서 0.97, Station에서 0.77를 기록하여 이상적인 검출 조건 하에서도 뛰어난 성능을 보였다.
• 해결 방법은 합리적인 스케일링을 보이며, 덜 혼잡한 데이터셋에서는 1분 분량의 영상 처리에 1분 이내로 이루어지며, 궤적 피팅에 있어 최적화 시간은 10분 이내였다.
• 최적화 문제에 최대 450,000개의 변수가 포함된 대규모 데이터셋에서도 계산적으로 실행 가능하다.