[논문 리뷰] 1st Place Solutions for Waymo Open Dataset Challenges -- 2D and 3D Tracking

Yu Wang, Sijia Chen외 5명|arXiv (Cornell University)|2020. 06. 28.

Video Surveillance and Tracking Methods참고 문헌 11인용 수 10

한 줄 요약

이 논문은 2D 및 3D 다중 객체 추적 프레임워크인 HorizonMOT를 제안하며, Waymo Open Dataset 챌린지에서 1위를 기록한다. 고성능 CenterNet 기반 검출기와 Re-ID 특징 및 IoU/Gaussian 커널 매칭을 활용한 3단계 연관 전략을 통해 추적-기반 추적에서 데이터 연관 및 트랙 관리의 개선을 통해 2D 추적에서 45.13% MOTA/L2, 3D 추적에서 63.45% MOTA/L2의 성능을 달성한다.

ABSTRACT

This technical report presents the online and real-time 2D and 3D multi-object tracking (MOT) algorithms that reached the 1st places on both Waymo Open Dataset 2D tracking and 3D tracking challenges. An efficient and pragmatic online tracking-by-detection framework named HorizonMOT is proposed for camera-based 2D tracking in the image space and LiDAR-based 3D tracking in the 3D world space. Within the tracking-by-detection paradigm, our trackers leverage our high-performing detectors used in the 2D/3D detection challenges and achieved 45.13% 2D MOTA/L2 and 63.45% 3D MOTA/L2 in the 2D/3D tracking challenges.

연구 동기 및 목표

• Waymo Open Dataset를 위한 통합적이고 실시간이며 온라인인 2D 및 3D 다중 객체 추적 시스템을 개발한다.
• 데이터 연관 및 트랙 관리의 향상으로 기반 추적-기반 방법을 초월한 추적 성능 향상을 도모한다.
• 현실적이고 확장 가능한 프레임워크를 사용하여 2D 및 3D 추적 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 고정확도 검출기 및 Re-ID 특징을 통합하여 가림과 장기 추적 과제를 효과적으로 대응한다.

제안 방법

• 2D(8차원 상태) 및 3D(10차원 상태) 공간에서 상태 예측 및 업데이트를 위해 칼만 필터를 사용하는 추적-기반 프레임워크인 HorizonMOT를 제안한다.
• 3단계 연관 전략을 적용: 첫 번째로 Re-ID 특징의 코사인 거리, 두 번째로 2D에서의 IoU 및 3D 중심에서의 가우시안 커널 매칭을 사용하며, 큰 이동 거리에 대응하기 위해 적응형 스케일링을 적용한다.
• 2D 검출을 위해 앵커리스인 CenterNet와 Hourglass-104 백본을 사용하고, 3D 검출을 위해 개선된 AFDet 기반 네트워크를 활용한다.
• 추론 중 다중 해상도 및 플립 증강을 적용하며, 검출 출력에 대해 모델 앙상블 및 NMS/가중 박스 융합을 수행한다.
• 학습 데이터의 일부를 사용하여 보행자, 차량, 자전거 기사 클래스에 대해 512D 임bedding을 가지는 별도의 11층 Re-ID 네트워크를 훈련시킨다.
• 검출 연관 카운터 기반 트랙 생성 및 삭제를 구현하며, 트랙 지속 시간의 최대 연령 한계를 설정하여 오래 지속되는 트랙을 방지한다.

실험 결과

연구 질문

• RQ1 Waymo Open Dataset에서 기존의 추적-기반 방법을 능가하는 통합적이고 온라인이며 실시간인 2D 및 3D 추적 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 Re-ID 특징과 다단계 연관 전략은 장기적인 가림 상황에서 트랙 분할을 줄이고 MOTA를 향상시키는 데 어떤 영향을 미치는가?
• RQ3 단일 검출기 및 추적기 프레임워크가 최소한의 아키텍처 변경으로도 2D 및 3D 추적 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 적응형 IoU 및 가우시안 커널 임계값의 사용은 카메라 시야 간 큰 물체 이동을 다루는 데 얼마나 효과적인가?

주요 결과

• HorizonMOT는 2D 추적 챌린지에서 45.13% MOTA/L2, 3D 추적 챌린지에서 63.45% MOTA/L2를 기록하며 두 벤치마크에서 모두 1위를 차지했다.
• 세 번째 단계 연관 추가로 기반 성능 대비 MOTA/L2가 3.65% 향상되어 어려운 연관 관계 처리의 효과를 입증했다.
• Re-ID 특징 통합으로 세 단계 기반 성능 대비 MOTA/L2가 2.43% 향상되어 트랙 분할을 크게 감소시켰다.
• 질적 결과에서 장시간의 가림 상황에서도 보행자를 성공적으로 추적했으며, 카메라 피치 운동으로 인한 큰 이동 거리 상황에서도 효과적으로 대응했다.
• 다중 해상도 증강 및 가중 박스 융합을 적용한 앙상블 검출 모델 사용으로 검출 품질이 향상되어 추적 성능에 직접 기여했다.
• 제거 분석 결과 Re-ID 및 다단계 연관 전략이 특히 붐비고 다이나믹한 환경에서 최고 수준의 성능를 달성하는 데 핵심 요소임을 확인했다.