[논문 리뷰] Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking

JunYoung Gwak, Silvio Savarese외 1명|arXiv (Cornell University)|2022. 08. 22.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

Minkowski Tracker는 4차원 점군(3차원 공간 + 시간)을 처리하는 4차원 희소 컨volutional 인코더를 통해 3D 객체 검출과 다중 객체 추적(MOT)을 동시에 수행하는 희소 시공간 R-CNN을 제안한다. TrackAlign를 사용해 시공간 ROI 특징을 통합하고, 검출 결과와 트랙 간 일치 확률을 예측하여 암묵적인 운동 모델을 학습함으로써, 수작업로 설계된 운동 모델 없이도 nuScenes에서 최고 성능을 달성한다.

ABSTRACT

Recent research in multi-task learning reveals the benefit of solving related problems in a single neural network. 3D object detection and multi-object tracking (MOT) are two heavily intertwined problems predicting and associating an object instance location across time. However, most previous works in 3D MOT treat the detector as a preceding separated pipeline, disjointly taking the output of the detector as an input to the tracker. In this work, we present Minkowski Tracker, a sparse spatio-temporal R-CNN that jointly solves object detection and tracking. Inspired by region-based CNN (R-CNN), we propose to solve tracking as a second stage of the object detector R-CNN that predicts assignment probability to tracks. First, Minkowski Tracker takes 4D point clouds as input to generate a spatio-temporal Bird's-eye-view (BEV) feature map through a 4D sparse convolutional encoder network. Then, our proposed TrackAlign aggregates the track region-of-interest (ROI) features from the BEV features. Finally, Minkowski Tracker updates the track and its confidence score based on the detection-to-track match probability predicted from the ROI features. We show in large-scale experiments that the overall performance gain of our method is due to four factors: 1. The temporal reasoning of the 4D encoder improves the detection performance 2. The multi-task learning of object detection and MOT jointly enhances each other 3. The detection-to-track match score learns implicit motion model to enhance track assignment 4. The detection-to-track match score improves the quality of the track confidence score. As a result, Minkowski Tracker achieved the state-of-the-art performance on Nuscenes dataset tracking task without hand-designed motion models.

연구 동기 및 목표

• 검출과 추적을 별도 단계로 처리하는 파ipelined 3D MOT 시스템의 한계를 해결하기 위해.
• 단일 엔드 투 엔드 프레임워크에서 검출과 추적을 공동으로 훈련시켜 추적 성능을 향상시키기 위해.
• 수작업으로 설계된 운동 모델에 의존하지 않고, 다중 작업 학습을 통해 암묵적인 운동 표현을 학습하기 위해.
• 검출-트랙 일치 확률을 신뢰도 추정에 통합하여 트랙 신뢰도를 향상시키기 위해.
• 수정된 재현율, 감소한 거짓 음성, 낮은 ID 스위치 수를 기록하며 nuScenes 3D MOT 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 모델은 3D 점군 시퀀스를 4차원 시공간 입력으로 처리하며, Minkowski 공간을 활용해 시간적 추론을 수행한다.
• 4차원 희소 컨볼루션 인코더가 시공간 베이비즈뷰 (BEV) 특징 맵을 생성하여, 종합적인 시공간 특징 학습을 가능하게 한다.
• TrackAlign는 BEV 맵에서 영역 관심(ROI) 특징을 통합하여, 검출 결과와 트랙 간 특징 수준의 매칭을 가능하게 한다.
• 네트워크는 두 단계 R-CNN 프레임워크의 일부로 검출-트랙 일치 확률을 예측하며, 추적을 두 번째 단계의 검출 작업으로 간주한다.
• 검출-트랙 일치 점수는 트랙 할당 향상과 함께 개선된 트랙 신뢰도 점수 계산에 사용되며, 단순한 검출 신뢰도 평균화 방식을 대체한다.
• 검출-트랙 점수와 거리 비율을 조합한 학습 가능한 비용 행렬을 사용하여 강인성 향상과 ID 스위치 감소를 달성한다.

실험 결과

연구 질문

• RQ1 3D 객체 검출과 다중 객체 추적의 공동 학습이 파이프라인 방식보다 성능 향상에 기여하는가?
• RQ2 4차원 시공간 인코딩이 가림 및 잘린 객체에 대한 검출 강인성을 향상시키는가?
• RQ3 신경망이 수작업으로 설계된 필터나 칼만 필터 없이 암묵적인 운동 모델을 학습할 수 있는가?
• RQ4 검출-트랙 일치 확률을 통합할 경우 트랙 할당 정확도와 신뢰도 추정에 어떤 영향을 미치는가?
• RQ5 공동 최적화된 다중 작업 학습이 검출 및 추적 성능에 미치는 영향은 무엇인가?

주요 결과

• Minkowski Tracker는 nuScenes 3D MOT 벤치마크에서 최고 성능을 기록하여, 이전 방법 대비 AMOTA, 재현율, 거짓 음성 비율에서 모두 승리하였다.
• 비교된 모든 방법들 중에서 가장 높은 재현율과 가장 낮은 거짓 음성 비율을 기록하여, 4차원 시간적 추론 덕분에 검출 강인성이 향상됨을 시사한다.
• 검출-트랙 일치 점수는 ID 스위치와 트랙 분할을 크게 감소시켜 효과적인 암묵적 운동 모델링을 입증한다.
• 검출 신뢰도와 검출-트랙 일치 점수의 조합은 트랙 신뢰도를 향상시켜 기준 신뢰도 추정 방식 대비 AMOTA에서 2.4%p의 절대적 향상을 이룬다.
• Minkowski Tracker는 수작업으로 설계된 고비용 필터를 피하고 효율적인 선형 할당에 의존함으로써 ImmortalTracker보다 6배 빠르며, 더 높은 성능을 달성하였다.
• 제거 분석 결과, 4차원 인코더, 다중 작업 학습, 검출-트랙 일치 점수, 그리고 신뢰도 점수 통합 각각이 성능 향상에 독립적으로 기여하는 것으로 확인되었다.