[논문 리뷰] Multi-Camera Multi-Object Tracking on the Move via Single-Stage Global Association Approach

Pha Nguyen, Kha Gia Quach외 4명|arXiv (Cornell University)|2022. 11. 17.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 자율주행 차량에서 다중 카메라 다중 객체 추적을 위한 단일 단계 전역 연동 접근법을 제안하며, 분수 최적 운반 이동 할당(FOTA)을 사용해 카메라 간 검출 결과를 직접 한 개의 추적 객체에 연결함으로써 ID 전환 수를 감소시키고 추적 정확도를 향상시킨다. 기존의 시각 기반 방법에 비해 nuScenes 테스트 세트에서 성능 향상 6.4%를 달성했으며, ID 전환 오류도 3,807건에서 870건으로 감소시켰다.

ABSTRACT

The development of autonomous vehicles generates a tremendous demand for a low-cost solution with a complete set of camera sensors capturing the environment around the car. It is essential for object detection and tracking to address these new challenges in multi-camera settings. In order to address these challenges, this work introduces novel Single-Stage Global Association Tracking approaches to associate one or more detection from multi-cameras with tracked objects. These approaches aim to solve fragment-tracking issues caused by inconsistent 3D object detection. Moreover, our models also improve the detection accuracy of the standard vision-based 3D object detectors in the nuScenes detection challenge. The experimental results on the nuScenes dataset demonstrate the benefits of the proposed method by outperforming prior vision-based tracking methods in multi-camera settings.

연구 동기 및 목표

• 이동 중인 차량에서 카메라 간 일관되지 않은 3D 객체 검출로 인해 발생하는 다중 카메라 다중 객체 추적(MC-MOT)의 불안정성과 분할 문제를 해결하기 위해.
• 개별 카메라 추적과 이후 전역 매칭을 필요로 하는 이중 단계 추적 파이프라인의 필요성을 제거하기 위해.
• 단일 단계에서 다중 카메라 검출 결과를 전역 객체 추적과 직접 연결함으로써 다이나믹한 MC-MOT 환경에서 추적의 강건성과 정확도를 향상시키기 위해.
• nuScenes 데이터셋에서 통합된 엔드 투 엔드 프레임워크를 사용해 검출 및 추적 성능을 향상시키고 ID 전환 오류를 줄이기 위해.

제안 방법

• 세계 좌표계에서 한 개의 추적 객체를 여러 겹치는 카메라 시야에서의 다수의 검출 결과에 매핑하는 일对다수 전역 연동 문제 수식을 제안한다.
• 전역 연동을 단일 단계 최적화 문제로 해결할 수 있는 미분 가능한 방법인 분수 최적 운반 이동 할당(FOTA)을 도입한다.
• SAGA-Track(FOTA를 활용한 검출 기반 추적)과 SAGA-TrackNet(자기 및 상호 어텐션 레이어를 활용한 다중 카메라 특징 모델링을 위한 엔드 투 엔드 추적)을 포함한 두 가지 SAGA 기반 프레임워크를 개발한다.
• 부분적 또는 누락된 검출에 대비해 강건성을 높이기 위해 외관 및 운동 특징을 활용한 다중 카메라 매칭을 수행한다.
• 특징 인코딩, 객체 위치 추정, 전역 추적 연동을 동시에 학습하는 통합 아키텍처를 사용해 엔드 투 엔드 방식으로 학습한다.
• 기존의 시각 기반 방법과의 공정한 평가를 위해 기준 비교에서 경험적 히우리스틱(예: IOU 임계값 설정, 박스 병합)을 적용한다.

실험 결과

연구 질문

• RQ1 자율주행 차량의 다이나믹한 다중 카메라 다중 객체 추적 환경에서 기존의 이중 단계 추적 파이프라인에 비해 단일 단계 전역 연동 접근법이 더 우수한 성능을 낼 수 있는가?
• RQ2 FOTA는 기존의 시각 기반 방법에 비해 nuScenes 벤치마크에서 추적 정확도 향상과 ID 전환 오류 감소에 어느 정도 기여하는가?
• RQ3 자기 및 상호 어텐션 메커니즘의 통합은 전역 객체 연동을 위한 다중 카메라 관계 모델링에 얼마나 효과적인가?
• RQ4 SAGA-TrackNet에서의 엔드 투 엔드 학습은 후행 단계 전역 매칭이 포함된 단계별 추적에 비해 더 우수한 일반화 능력과 강건성을 제공하는가?

주요 결과

• 제안된 SAGA-Track 및 SAGA-TrackNet 방법은 nuScenes 테스트 세트에서 기준값 3,807건에서 ID 전환 오류를 870건으로 감소시켜 추적 안정성 향상이 뚜렷하게 나타났다.
• SAGA-TrackNet는 AMOTA 0.242와 MOTAR 0.627을 기록하여 QD-3DT 및 DEFT와 같은 최신 시각 기반 방법보다 대부분의 지표에서 승리했다.
• 기존의 시각 기반 추적 접근법 대비 nuScenes 벤치마크에서 추적 성능을 최대 6.4% 향상시켰다.
• SAGA-TrackNet는 FRAG(분할) 오류를 2,000으로 줄여 DEFT의 3,420보다 훨씬 낮게 유지해 더 우수한 추적 연속성을 보였다.
• AMOTA, MOTA 및 Recall 지표에서 뛰어난 성능을 보이며 객체 연동 및 경계 상자 회귀 정확도 향상이 확인되었다.
• 절단 분석 결과, 카메라 간 전역 외관 매칭이 ID 전환 수를 줄이고 추적 강건성을 향상시키는 핵심 요소임을 입증했다.