[논문 리뷰] TrackMPNN: A Message Passing Graph Neural Architecture for Multi-Object Tracking

Akshay Rangesh, Pranav Maheshwari외 4명|arXiv (Cornell University)|2021. 01. 11.

Video Surveillance and Tracking Methods참고 문헌 60인용 수 25

한 줄 요약

TrackMPNN은 동적 무방향 그래프와 롤링 윈도우에서 작동하는 메시지 전달 신경망을 이용한 온라인 다중 객체 추적을 제안하며, 2D 박스 위치 및 카테고리 ID만을 사용해 경쟁력 있는 결과를 달성한다.

ABSTRACT

This study follows many classical approaches to multi-object tracking (MOT) that model the problem using dynamic graphical data structures, and adapts this formulation to make it amenable to modern neural networks. Our main contributions in this work are the creation of a framework based on dynamic undirected graphs that represent the data association problem over multiple timesteps, and a message passing graph neural network (MPNN) that operates on these graphs to produce the desired likelihood for every association therein. We also provide solutions and propositions for the computational problems that need to be addressed to create a memory-efficient, real-time, online algorithm that can reason over multiple timesteps, correct previous mistakes, update beliefs, and handle missed/false detections. To demonstrate the efficacy of our approach, we only use the 2D box location and object category ID to construct the descriptor for each object instance. Despite this, our model performs on par with state-of-the-art approaches that make use of additional sensors, as well as multiple hand-crafted and/or learned features. This illustrates that given the right problem formulation and model design, raw bounding boxes (and their kinematics) from any off-the-shelf detector are sufficient to achieve competitive tracking results on challenging MOT benchmarks.

연구 동기 및 목표

• 시간에 따라 진화하는 동적 그래프에서 추론으로 다중 객체 추적을 모델링한다.
• 메모리 효율적인 업데이트로 다수의 타임스텝에 걸친 온라인 실시간 추론을 가능하게 한다.
• 원시 2D 경계 상자와 카테고리 ID만으로도 경쟁력 있는 MOT 성능이 충분함을 보인다.
• 롤링 윈도우 그래프 업데이트와 디코딩을 갖춘 확장 가능한 학습/추론 프레임워크를 시연한다.
• 표준 벤치마크(예: KITTI MOT)에서 최첨단 MOT 방법과 비교한다.

제안 방법

• 탐지들을 노드로, 가능한 연관들을 간선으로 하며 동적 롤링 윈도우 그래프에 표현한다.
• 새 프레임이 도착할 때 진화하는 탐지 노드와 연관 노드가 있는 무방향 이분 그래프를 사용한다.
• 주목 기반 메시지 전달을 포함한 탐지 노드 업데이트와 연관 노드 업데이트를 분리한 특화된 TrackMPNN를 적용한다.
• 탐지, 연관 및 경쟁 간선 작업에 대한 결합 손실로 학습하고, 메모리가 용이하도록 미니 시퀀스를 사용한다.
• 탐색은 그리디 디코딩 또는 Hungarian 매칭으로 수행하고, 메모리와 계산을 제어하기 위해 그래프를 가지치한다.

실험 결과

연구 질문

• RQ1 동적 롤링 그래프에서 작동하는 그래프 신경망이 수작업으로 설계된 비용과 특징에 의존하는 전통적인 MOT 파이프라인보다 우수하게 작동할 수 있는가?
• RQ2 MOT에서 효과적인 데이터 연관화를 위해 2D 박스 위치와 카테고리 ID만으로 충분한가?
• RQ3 롤링 윈도우 그래프 업데이트와 메모리 관리가 온라인 추적 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• TrackMPNN의 온라인 GNN 프레임워크는 표준 벤치마크에서 경쟁력 있는 MOT 성능을 달성하며, 특징으로는 오직 2D 박스 위치와 카테고리 ID만을 사용한다.
• 동적 그래프 업데이트를 갖춘 롤링 윈도우를 사용하면 다중 타임스텝에 걸친 온라인 추론이 가능하고 과거 오류를 수정하는 데 도움이 된다.
• 주목 기반 메시지 전달과 차이 기반 또는 연결(concatenation)-기반 연관 업데이트가 추적 지표에 영향을 주며, 차이 기반 업데이트가 우호적인 결과를 보인다.
• 학습 중 데이터 증강은 대부분의 MOT 지표를 개선하며, 특히 소형 데이터세트에서 더욱 그렇다.
• Hungarian 알고리즘을 사용한 디코딩은 추가 계산 비용의 대가로 트랙 연속성을 개선한다.