[논문 리뷰] Tracking The Untrackable: Learning To Track Multiple Cues with Long-Term Dependencies

Amir Sadeghian, Alexandre Alahi외 1명|arXiv (Cornell University)|2017. 01. 08.

Video Surveillance and Tracking Methods참고 문헌 53인용 수 15

한 줄 요약

이 논문은 장기적인 시간 창 내에서 외관, 운동, 상호작용 특징을 함께 모델링하는 순환 신경망(RNN) 아키텍처를 활용하여, 혼잡하고 가림이 있는 상황에서도 추적의 강건성을 크게 향상시키는 엔드 투 엔드 온라인 다중 타깃 추적 방법을 제안한다. 이 방법은 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이전 방법 대비 20% 향상된 MOTA 성능을 기록한다.

ABSTRACT

The majority of existing solutions to the Multi-Target Tracking (MTT) problem do not combine cues in a coherent end-to-end fashion over a long period of time. However, we present an online method that encodes long-term temporal dependencies across multiple cues. One key challenge of tracking methods is to accurately track occluded targets or those which share similar appearance properties with surrounding objects. To address this challenge, we present a structure of Recurrent Neural Networks (RNN) that jointly reasons on multiple cues over a temporal window. We are able to correct many data association errors and recover observations from an occluded state. We demonstrate the robustness of our data-driven approach by tracking multiple targets using their appearance, motion, and even interactions. Our method outperforms previous works on multiple publicly available datasets including the challenging MOT benchmark.

연구 동기 및 목표

• 기존의 다중 타깃 추적(MTT) 방법이 장기적인 시간적 의존성을 모델링하지 못하고 다중 특징을 일관되게 통합하지 못하는 한계를 해결하기 위해.
• 장기적인 가림이나 외관의 모호성 등 도전적인 상황에서 데이터 연동 및 재식별 성능을 향상시키기 위해.
• 수작업 특징 없이 외관, 운동, 상호작용 특징을 함께 고려하는 엔드 투 엔드 온라인 학습 프레임워크를 개발하기 위해.
• 실제 환경에서의 추적 조건 하에서 MOT 및 스탠포드 드론 데이터셋과 같은 표준 벤치마크에서 기존 방법을 능가하기 위해.

제안 방법

• 이 방법은 LSTM 기반의 외관 모델, 운동 모델, 상호작용 모델을 포함한 순환 신경망(RNN) 아키텍처를 사용하며, 각각 하나의 특징을 시간에 따라 처리한다.
• 각 RNN 구성 요소는 시간적 표현을 학습한다: 외관 RNN은 사전 훈련된 CNN을 사용해 특징을 추출하고, 대비 손실을 통해 유사도 메트릭을 학습한다.
• 운동 및 상호작용 모델은 별도의 LSTM을 사용해 장기간의 시간 창 동안 목표의 궤적과 사회적 상호작용을 인코딩한다.
• 중앙 타깃 LSTM은 외관, 운동, 상호작용 특징의 표현을 융합하여 유사도 점수를 위한 통합된 맥락 인식 임베딩을 생성한다.
• 전체 프레임워크는 외관에 대한 대비 손실과 데이터 연동에 대한 추적 손실을 사용해 엔드 투 엔드로 훈련되며, 미래 프레임에 대한 접근 없이 온라인 추론이 가능하다.
• 통합 표현에서 유도된 유사도 점수는 검출 결과를 프레임 간에 연동하는 추적-기반 검출 파이프라인에 사용된다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 다중 특징(외관, 운동, 상호작용) 간의 장기적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 다중 특징을 함께 고려하는 통합 추론이 가림이나 혼잡한 상황에서 데이터 연동 정확도를 향상시킬 수 있는가?
• RQ3 엔드 투 엔드 온라인 RNN 기반 아키텍처가 MTT 벤치마크에서 수작업 특징 함수를 능가하는가?
• RQ4 외관, 운동, 상호작용 특징이 각각 및 함께 추적 성능에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 공개 검출 결과를 사용해 2D MOT2015 테스트 세트에서 37.6%의 MOTA를 달성했으며, 이는 이전의 모든 온라인 추적자들을 능가한다.
• MOT16 벤치마크에서 47.2%의 MOTA를 기록했으며, 온라인 추적자 중 1위를 차지했고, 이전 최고 기록보다 20%포인트 향상되었다.
• 제거 분석 결과에서 외관, 운동, 상호작용 특징을 모두 조합할 경우 MOTA가 37.6%로 가장 높았으며, 특히 가림 상황에서 운동 및 상호작용 특징이 성능 향상에 크게 기여했다.
• 외관 특징 추출기는 CUHK03 재식별 벤치마크에서 55.9%의 Rank-1 정확도를 달성했으며, 최신 기술 수준의 방법들과 경쟁 가능했다.
• 스탠포드 드론 데이터셋에서의 정성적 결과는 기존 방법(MDP+SF-mc 등)에 비해 ID 전환 수가 적고 추적의 일관성이 더 높았으며, 특히 가림 상황에서 두드러졌다.
• 모델는 강력한 일반화 능력을 보였으며, 타깃 LSTM이 모든 특징을 효과적으로 통합해 복잡하고 동적인 환경에서의 강건성을 향상시켰다.