[논문 리뷰] SoDA: Multi-Object Tracking with Soft Data Association

Wei-Chih Hung, Henrik Kretzschmar외 5명|arXiv (Cornell University)|2020. 08. 18.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 6

한 줄 요약

SoDA는 시공간적 맥락에서 트랙 임베딩을 계산하기 위해 자기주의(self-attention) 메커니즘을 사용하는 새로운 다중 객체 추적 프레임워크를 제안한다. 이는 소프트 데이터 연동과 명시적인 음영 처리 추론을 가능하게 하며, 하드 연동을 피하고 모든 검출 결과로부터 정보를 통합함으로써 Waymo Open Dataset에서 최신 기준 성능(SOTA)을 달성한다. Tracktor++ 대비 MOTA가 5.0% 향상되고 IDS는 30.8% 감소하였다.

ABSTRACT

Robust multi-object tracking (MOT) is a prerequisite fora safe deployment of self-driving cars. Tracking objects, however, remains a highly challenging problem, especially in cluttered autonomous driving scenes in which objects tend to interact with each other in complex ways and frequently get occluded. We propose a novel approach to MOT that uses attention to compute track embeddings that encode the spatiotemporal dependencies between observed objects. This attention measurement encoding allows our model to relax hard data associations, which may lead to unrecoverable errors. Instead, our model aggregates information from all object detections via soft data associations. The resulting latent space representation allows our model to learn to reason about occlusions in a holistic data-driven way and maintain track estimates for objects even when they are occluded. Our experimental results on the Waymo OpenDataset suggest that our approach leverages modern large-scale datasets and performs favorably compared to the state of the art in visual multi-object tracking.

연구 동기 및 목표

• 복잡하고 음영이 많은 자율 주행 환경에서의 강력한 다중 객체 추적 문제를 해결한다.
• 하드 데이터 연동의 한계를 극복하여 오류 전파 및 복구 불가능한 추적 실패를 방지한다.
• 모든 검출 결과로부터 잠재 표현을 학습함으로써 음영 처리에 대한 통합적이고 데이터 기반의 추론을 가능하게 한다.
• 수동 조정 없이 대규모 데이터셋을 활용해 객체 간 복잡한 장거리 의존성 관계를 학습한다.
• 수작업 기반 임계값이나 다중 가설 추적 히우리스틱에 의존하지 않는 통합 프레임워크를 개발한다.

제안 방법

• 검출 결과 간 시공간 맥락을 인코딩하기 위해 트랜스포머 스타일의 자기주의 레이어를 사용하여 다중 객체 추적 문제를 순서에서 순서로의 문제로 재정의한다.
• 모든 검출 결과에서 특징을 통합하는 어텐션 측정 인코딩을 통해 트랙 임베딩을 계산함으로써 소프트 데이터 연동을 가능하게 한다.
• 모든 검출 결과의 맥락적 특징 기반으로 음영 발생 가능성에 대해 명시적으로 모델링하기 위해 잠재 상태 표현 $ z_{\text{occ}} $ 를 도입한다.
• 모든 검출 결과와 트랙 간 유사도 점수를 계산하기 위해 통합 어텐션 메커니즘을 사용하여 하드 연동 결정을 피한다.
• Waymo Open Dataset와 같은 대규모 데이터셋에서 엔드 투 엔드로 모델을 훈련하여 강력하고 맥락 인식 능력이 뛰어난 트랙 표현을 학습한다.
• 어텐션 메커니즘에 외형 특징(ROI Align을 통해 추출)과 경계 상자 좌표를 결합함으로써 다양한 특징 모odal리티에 일반화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어텐션 기반 모델링이 하드 데이터 연동을 효과적으로 대체하여 오류 전파를 줄일 수 있는가?
• RQ2 모든 검출 결과로부터 학습된 잠재 공간 표현이 음영 상황에서 추적의 강건성을 향상시킬 수 있는가?
• RQ3 데이터 기반의 소프트 연동 메커니즘이 히우리스틱 기반 또는 다중 가설 접근 방식을 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 다양한 카메라 시야, 프레임 레이트 및 해상도를 가진 다양한 시퀀스에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 대규모 데이터셋에서의 사전 훈련이 MOT17이나 KITTI와 같은 더 작은 벤치마크에서 성능 향상에 기여하는가?

주요 결과

• Waymo Open Dataset에서 SoDA는 MOTA 55.9%와 IDF1 44.3%를 기록하여 Tracktor++(MOTA 53.5%)를 능가했으며, MOTA는 5.0% 향상되고 IDS는 30.8% 감소하였다.
• 미래 프레임(다음 2프레임)에 접근할 수 있을 경우 성능 향상이 이루어져, 더 나은 연동 결정을 내리기 위해 시간적 맥락을 효과적으로 활용하고 있음을 시사한다.
• Waymo Open Dataset에서 훈련한 후 KITTI에서 평가했을 때 SoDA는 IDS가 17% 감소하여 대규모 사전 훈련의 이점이 있음을 입증하였다.
• ROI-Align을 통해 추출한 외형 특징과 경계 상자 특징을 결합했을 때 성능 향상이 관찰되어, 다양한 특징 입력에 대해 일반화됨을 보였다.
• 정성적 결과에서 SoDA는 잠재 공간에 인코딩된 맥락적 장면 정보를 활용하여 복잡한 음영 상황에서도 객체를 성공적으로 추적함을 확인하였다.
• MOT17 벤치마크에서 SoDA는 사전 검출 결과를 사용할 경우 최신 기준 성능(SOTA) 수준의 성능을 보였으며, 이는 검출기 노이즈에 대한 강건성을 입증한다.