[논문 리뷰] End-to-end Recurrent Multi-Object Tracking and Trajectory Prediction with Relational Reasoning

Fabian B. Fuchs, Adam R. Kosiorek외 3명|arXiv (Cornell University)|2019. 07. 12.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 5

한 줄 요약

이 논문은 상호작용을 모델링하기 위해 관계 추론을 사용하는 엔드 투 엔드, 클래스 무관, 순환 다중 객체 추적 및 궤적 예측 모델인 Mohart를 제안한다. 공간 주의, 순환 네트워크, 그리고 순열 불변 관계 추론을 위한 멀티헤드 자기주목 모듈을 통합함으로써 Mohart는 MOTChallenge, UA-DETRAC, Stanford Drone 데이터셋에서 기준 추적기보다 일관된 성능 향상을 달성한다—특히 은폐, 자가 운동, 센서 고장 상황에서 두각을 나타낸다.

ABSTRACT

The majority of contemporary object-tracking approaches do not model interactions between objects. This contrasts with the fact that objects' paths are not independent: a cyclist might abruptly deviate from a previously planned trajectory in order to avoid colliding with a car. Building upon HART, a neural class-agnostic single-object tracker, we introduce a multi-object tracking method MOHART capable of relational reasoning. Importantly, the entire system, including the understanding of interactions and relations between objects, is class-agnostic and learned simultaneously in an end-to-end fashion. We explore a number of relational reasoning architectures and show that permutation-invariant models outperform non-permutation-invariant alternatives. We also find that architectures using a single permutation invariant operation like DeepSets, despite, in theory, being universal function approximators, are nonetheless outperformed by a more complex architecture based on multi-headed attention. The latter better accounts for complex physical interactions in a challenging toy experiment. Further, we find that modelling interactions leads to consistent performance gains in tracking as well as future trajectory prediction on three real-world datasets (MOTChallenge, UA-DETRAC, and Stanford Drone dataset), particularly in the presence of ego-motion, occlusions, crowded scenes, and faulty sensor inputs.

연구 동기 및 목표

• 추적 과정에서 객체 간 상호작용을 모델링하지 못하는 기존 추적기의 한계를 해결한다.
• 추적과 향후 궤적 예측을 동시에 최적화하는 클래스 무관, 엔드 투 엔드 학습 가능한 시스템을 개발한다.
• 특히 순열 불변 모델을 포함한 다양한 관계 추론 아키텍처의 효과성을 다중 객체 추적에서 조사한다.
• 추적과 예측의 공동 학습을 통해 은폐, 자가 운동, 센서 노이즈에 대한 강건성을 향상시킨다.
• 다양한 과제를 수반하는 실제 세계 데이터셋(혼잡한 장면, 부분 관측 포함)에서 모델을 평가한다.

제안 방법

• 공간 주의를 사용해 객체의 개별 뷰를 병렬 처리함으로써 단일 객체 추적기 HART를 다중 객체 추적으로 확장한다.
• 객체 특징을 CNN을 통해 처리하고, 순열 불변 상호작용 모델링을 위해 멀티헤드 자기주목 모듈을 통해 관계 추론 모듈에 입력한다.
• 시간 단계 간 객체 상태를 유지하고 업데이트하기 위해 순환 모듈을 사용하여 장기적인 운동 패턴 학습을 가능하게 한다.
• 공유된 표현을 사용해 추적(Intersection over Union, IoU)과 향후 궤적 예측(ADE/FDE 등)을 동시에 엔드 투 엔드로 학습한다.
• 시각적 특징과 관계 추론을 통합하여 누락되거나 손상된 센서 입력에 대한 강건성을 향상시킨다.
• 영역 제안 네트워크를 피하기 위해 각 객체당 하나의 유일한 가분성 공간 주의 메커니즘을 사용해 관련 이미지 영역을 추출한다.

실험 결과

연구 질문

• RQ1 관계 추론은 은폐 및 자가 운동과 같은 복잡한 실제 시나리오에서 다중 객체 추적 성능을 향상시킬 수 있는가?
• RQ2 특히 순열 불변 모델을 포함한 다양한 관계 추론 아키텍처는 추적 및 예측 작업에서 어떻게 비교되는가?
• RQ3 추적과 궤적 예측의 공동 엔드 투 엔드 학습은 별도 학습보다 더 나은 일반화 성능을 이끌어낼 수 있는가?
• RQ4 카메라 장애나 검출 누락과 같은 센서 열화 상황에서 모델의 성능은 어떻게 되는가?
• RQ5 관계 추론은 독립적 객체 추적 대비 어떤 상황에서 가장 뚜렷한 성능 향상을 제공하는가?

주요 결과

• Mohart는 MOTChallenge, UA-DETRAC, Stanford Drone 데이터셋에서 관계 없는 기준 모델 대비 일관된 성능 향상을 보이며, 특히 은폐 및 자가 운동 상황에서 두각을 나타낸다.
• 선형 운동량 기반 기준 모델보다 궤적 예측에서 뛰어난 성능을 보이며, 단순 외삽을 넘는 복잡한 운동 패턴을 학습하고 있음을 입증한다.
• 멀티헤드 자기주목은 단순한 순열 불변 모델(예: DeepSets)보다 성능이 뛰어나며, 후자는 유니버설 함수 근사기임에도 불구하고 그렇지 않다.
• Mohart는 카메라 장애 상황에서도 강력한 강건성을 보이며, 특히 Stanford Drone 데이터셋의 자전거 운전자 궤적에서 뚜렷한 성능 향상을 보였다.
• SOTA 검출기의 약 230만 프레임 대비 약 8,000개 프레임의 학습 데이터만으로도 Mohart는 MOTChallenge에서 SOTA 검출기와 유사한 성능을 달성하여 높은 데이터 효율성을 입증한다.
• HART 대비 추적 및 예측 성능 모두에서 모델의 성능이 뚜렷이 향상되어, 다중 객체 환경에서 관계 추론의 유용성을 확인한다.