[논문 리뷰] LEGO: Learning and Graph-Optimized Modular Tracker for Online Multi-Object Tracking with Point Clouds

Zhenrong Zhang, Jianan Liu외 4명|arXiv (Cornell University)|2023. 08. 19.

Video Surveillance and Tracking MethodsComputer Science인용 수 3

한 줄 요약

LEGO는 라이다 포인트 클라우드를 위한 혁신적인 온라인 다중 객체 추적 프레임워크로, 데이터 연관 정확도를 향상시키기 위해 그래프 최적화와 자기주의 메커니즘을 통합한다. 기하학적 특징, 운동 특징, 검출 점수 특징을 학습 가능한 비용 행렬과 그래프 기반 주의망(GDAN)을 통해 융합함으로써 LEGO는 라이다 입력만을 사용하는 조건에서 KITTI MOT 벤치마크에서 최상위 성능을 기록하며, 온라인 추적기 중 1위를 차지한다.

ABSTRACT

Online multi-object tracking (MOT) plays a pivotal role in autonomous systems. The state-of-the-art approaches usually employ a tracking-by-detection method, and data association plays a critical role. This paper proposes a learning and graph-optimized (LEGO) modular tracker to improve data association performance in the existing literature. The proposed LEGO tracker integrates graph optimization and self-attention mechanisms, which efficiently formulate the association score map, facilitating the accurate and efficient matching of objects across time frames. To further enhance the state update process, the Kalman filter is added to ensure consistent tracking by incorporating temporal coherence in the object states. Our proposed method utilizing LiDAR alone has shown exceptional performance compared to other online tracking approaches, including LiDAR-based and LiDAR-camera fusion-based methods. LEGO ranked 1st at the time of submitting results to KITTI object tracking evaluation ranking board and remains 2nd at the time of submitting this paper, among all online trackers in the KITTI MOT benchmark for cars1

연구 동기 및 목표

• 라이다 포인트 클라우드를 사용한 온라인 다중 객체 추적에서 데이터 연관, 잘못된 검출 거부, 추적 지속성의 과제를 해결하기 위해.
• 기하학적 특징, 운동 특징, 검출 점수 특징을 통합 최적화 프레임워크를 통해 추적의 강건성과 정확도를 향상시키기 위해.
• 그래프 기반 주의망과 칼만 필터링을 활용해 시간적 일관성을 확보하는 그래프 최적화 기반 데이터 연관 기능을 갖춘 모듈식 추적기를 개발하기 위해.
• 카메라 융합 없이 라이다 입력만을 사용하여 KITTI 온라인 MOT 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• LEGO는 객체 검출 후 모듈식 추적기를 사용한 그래프 최적화 기반 데이터 연관을 적용하는 이단계 파이프라인을 사용한다.
• 기하학적 특징과 운동 특징을 조합한 비용 행렬(A 행렬)과 검출 점수 특징을 조합한 비용 행렬(B 행렬)을 구성하며, 기여도를 균형 잡기 위해 학습 가능한 가중치를 적용한다.
• 검출 결과 간의 위상적 관계를 모델링하여 연관 점수를 계산하기 위해 그래프 기반 주의망(GDAN)을 사용한다.
• 시간적 일관성을 유지하고 프레임 간 객체 상태 추정을 정밀하게 개선하기 위해 칼만 필터를 통합한다.
• 검출 박스의 국소화 오차를 줄이기 위해 오프셋 보정 모듈을 적용한다.
• 트랙 관리는 트랙 수명과 잡음 감소를 위해 임계값 기반의 정렬 메커니즘(N^t)을 사용한다.

실험 결과

연구 질문

• RQ1 그래프 최적화와 주의 메커니즘은 어떻게 효과적으로 융합되어 온라인 3D 다중 객체 추적의 데이터 연관을 향상시킬 수 있는가?
• RQ2 비용 행렬 내 기하학적 특징, 운동 특징, 검출 점수 특징 간 최적의 균형은 무엇인가?
• RQ3 다중 모odal(LiDAR-카메라) 추적기와 비교해 라이다 전용 추적기가 최고 성능을 달성할 수 있는가?
• RQ4 칼만 필터링과 트랙 관리의 통합은 추적의 지속성과 강건성 향상에 어떻게 기여하는가?

주요 결과

• LEGO는 KITTI 차량 검증 세트에서 85.808%의 HOTA를 기록하여 제출 시점 기준으로 모든 온라인 추적기 중 1위를 차지했다.
• PointRCNN을 검출기로 사용했을 때, StrongFusionMOT 대비 HOTA는 2.4점 향상되고 MOTA는 3.44점 향상되었다.
• PointGNN을 검출기로 사용했을 때, HIDMOT 대비 3.62점의 HOTA 향상과 DualTracker 대비 5.34점의 HOTA 향상이 이루어졌다.
• CenterPoint보다 검출 정확도가 떨어지는 PointGNN을 사용함에도 불구하고, GNN3DMOT 대비 sAMOTA 1.22점, AMOTA 2.51점, AMOTP 8.87점 향상되었다.
• 절단 분석 결과, w_B를 2로 설정하고 트랙 임계값 N^t를 14로 설정했을 때 HOTA 성능이 최고로 나타났다(85.808%).
• 오프셋 보정 모듈은 국소화 정확도 향상에 기여하여 종합적인 추적 강건성 향상에 기여했다.