[논문 리뷰] Multi-object Tracking via End-to-end Tracklet Searching and Ranking

Tao Hu, Lichao Huang외 1명|arXiv (Cornell University)|2020. 03. 04.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 8

한 줄 요약

이 논문은 온라인 가설 검색을 통해 훈련함으로써 노출 편향을 줄이고, 마진 손실과 랭크 손실을 통해 직접적으로 트랙렛 일관성을 최적화하는 엔드 투 엔드 트랙렛 검색 및 랭킹 프레임워크를 제안한다. MOT15–17 벤치마크에서 최신 기술 수준 성능을 달성하여 온라인 설정에서 MOTA를 46.2로 향상시키고 IDS를 374로 감소시켰다.

ABSTRACT

Recent works in multiple object tracking use sequence model to calculate the similarity score between the detections and the previous tracklets. However, the forced exposure to ground-truth in the training stage leads to the training-inference discrepancy problem, i.e., exposure bias, where association error could accumulate in the inference and make the trajectories drift. In this paper, we propose a novel method for optimizing tracklet consistency, which directly takes the prediction errors into account by introducing an online, end-to-end tracklet search training process. Notably, our methods directly optimize the whole tracklet score instead of pairwise affinity. With sequence model as appearance encoders of tracklet, our tracker achieves remarkable performance gain from conventional tracklet association baseline. Our methods have also achieved state-of-the-art in MOT15~17 challenge benchmarks using public detection and online settings.

연구 동기 및 목표

• 훈련 중에 강제로 진짜 레이블을 노출시킴으로써 발생하는 훈련-추론 불일치(노출 편향) 문제를 해결하기 위해.
• 쌍별 유사도가 아닌 전체 트랙렛의 전역 점수를 최적화하여 트랙렛 일관성을 향상시키기 위해.
• 훈련 중에 실제적인, 질서가 어지러운 트랙렛 가설을 노출시켜 추론 시 오류 누적 문제를 제거하기 위해.
• 다양한 아키텍처에서 추적 성능을 향상시키는 데 유용한 플러그인 가능하고 시퀀스 모델에 종속되지 않는 프레임워크를 개발하기 위해.
• 공개된 검출 결과를 사용한 온라인 설정에서 표준 MOT 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 훈련 중에 예측 데이터 분포를 시뮬레이션하기 위해 '검색-학습-랭킹-자르기' 기반의 새로운 훈련 파이프라인을 도입한다.
• 진짜 트랙렛과 부정적인 트랙렛 가설 간의 점수 차이를 최대화하기 위해 마진 손실을 사용한다.
• 검색 공간 내에서 진짜 트랙렛이 모든 다른 후보보다 높게 랭크되도록 보장하기 위해 랭크 손실을 적용한다.
• 트랙렛 외관 및 운동 특징을 인코딩하기 위해 어텐션 기반 순환 시퀀스 모델(예: LSTM+attention)을 사용한다.
• 각 시간 단계에서 C개의 검출 결과로부터 K개의 후보 트랙렛을 생성하여 온라인 트랙렛 검색을 수행하고, 손실 계산을 위해 상위-K개로 자른다.
• 훈련 중에 진짜 트랙렛이 아닌 예측된 트랙렛만을 사용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 트랙렛 검색 및 랭킹이 멀티오브젝트 트래킹에서 노출 편향을 줄일 수 있는가?
• RQ2 쌍별 유사도가 아닌 전체 트랙렛 점수를 최적화함으로써 트래킹 일관성과 성능이 향상되는가?
• RQ3 훈련 중에 온라인 가설 검색을 통해 실제 추론 시나리오를 효과적으로 시뮬레이션하고 오류 누적 문제를 줄일 수 있는가?
• RQ4 제안된 프레임워크 내에서 다양한 시퀀스 모델(예: LSTM, Transformer)은 어떻게 성능을 내는가?
• RQ5 제안된 방법이 표준 MOT 벤치마크에서 최신 기술 수준 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 MOT17 벤치마크에서 MOTA 46.2를 달성하여 이전 최신 기술 수준 성능을 초월한다.
• IDS(아이덴티티 스위치 수)를 374로 감소시켜 베이스라인 및 아블레이션 변형 대비 뚜렷한 향상을 이룬다.
• 아블레이션 연구를 통해 마진 손실, 랭크 손실, 온라인 트랙렛 검색 모두 성능 향상에 기여한다는 것이 확인된다.
• 후보 검출 수(C)와 유지되는 트랙렛 수(K)를 늘일수록 MOTA는 향상되고 IDS는 감소하여 확장된 검색 공간의 이점이 있음을 시사한다.
• 제안된 프레임워크 내에서 LSTM+attention은 표준 LSTM 및 Transformer보다 우수한 성능을 보이며, MOTA 46.2와 IDS 374를 달성한다.
• 프레임워크는 다양한 시퀀스 모델에 대해 강건하며, 트랙렛 인코더가 다양한 아키텍처와 함께 플러그인 가능하고 효과적이라는 점을 입증한다.