[논문 리뷰] Split and Connect: A Universal Tracklet Booster for Multi-Object Tracking

Gaoang Wang, Yizhou Wang외 3명|arXiv (Cornell University)|2021. 05. 06.

Video Surveillance and Tracking Methods참고 문헌 70인용 수 5

한 줄 요약

이 논문은 다중 객체 추적을 위한 유니버설 트랙릿 부스터를 제안하며, 기존 추적기를 개선하기 위해 잠재적인 ID 전환 지점에서 트랙릿을 분할하고, 다중 헤드 자기주의 기반 임베딩 네트워크를 사용해 재연결함으로써 성능을 향상시킨다. 이 방법은 검출 파이프라인을 수정하지 않고도 MOT17 및 MOT20 벤치마크에서 ID-association 오류를 해결함으로써 IDF1 점수를 상당히 향상시켜 최대 6.1% 향상시켰다.

ABSTRACT

Multi-object tracking (MOT) is an essential task in the computer vision field. With the fast development of deep learning technology in recent years, MOT has achieved great improvement. However, some challenges still remain, such as sensitiveness to occlusion, instability under different lighting conditions, non-robustness to deformable objects, etc. To address such common challenges in most of the existing trackers, in this paper, a tracklet booster algorithm is proposed, which can be built upon any other tracker. The motivation is simple and straightforward: split tracklets on potential ID-switch positions and then connect multiple tracklets into one if they are from the same object. In other words, the tracklet booster consists of two parts, i.e., Splitter and Connector. First, an architecture with stacked temporal dilated convolution blocks is employed for the splitting position prediction via label smoothing strategy with adaptive Gaussian kernels. Then, a multi-head self-attention based encoder is exploited for the tracklet embedding, which is further used to connect tracklets into larger groups. We conduct sufficient experiments on MOT17 and MOT20 benchmark datasets, which demonstrates promising results. Combined with the proposed tracklet booster, existing trackers usually can achieve large improvements on the IDF1 score, which shows the effectiveness of the proposed method.

연구 동기 및 목표

• 오염, 조명 변화, 변형으로 인한 지속적인 ID 전환 오류와 같은 다중 객체 추적의 과제를 해결하기 위해.
• 모든 기존 추적기와 호환되며, 검출기 재학습 없이도 기능하는 플러그 앤 플레이 모듈을 개발하기 위해.
• 두 가지 유형의 연관 오류를 모두 줄이기 위해: 서로 다른 객체를 하나의 트랙릿으로 합치는 오류와 동일한 객체를 여러 트랙릿으로 분할하는 오류.
• 시간적 연관성의 강건성을 중시하며, 주로 IDF1 점수 향상을 목표로 하기 위해.
• 적응형 스무딩과 자기주의를 활용한 훈련 안정성과 일반화 능력을 갖춘 프레임워크를 설계하기 위해.

제안 방법

• 스택드 타임리얼 딜레이드 컨볼루션 블록을 사용해 잠재적인 ID 전환 위치를 예측하는 Splitter 모듈.
• 가우시안 커널을 활용한 적응형 레이블 스무딩 전략이 강화된 감독 신호의 딱딱한 경계를 부드럽게 하여 훈련을 안정화시킨다.
• 다중 헤드 자기주의 인코더를 활용해 그룹화를 위한 구분 능력 있는 트랙릿 임베딩을 학습하는 Connector 모듈.
• 유사한 임베딩을 가진 트랙릿은 동일한 ID로 통합되어 분할 및 교차-ID 혼동을 줄인다.
• 세 가지 손실 구성 요소(분할에 대한 평균 제곱 오차, 마스크 예측에 대한 교차 엔트로피, 임베딩 대비에 대한 트리플릿 손실)를 갖춘 엔드 투 엔드 훈련 가능한 프레임워크.
• 이 방법은 추론 후 적용되기 때문에 어떤 검출기 기반 추적기와도 호환된다.

Figure 1: Demonstration of association errors. The first error type shows multiple objects are associated to the same tracklet. The second error shows the same object are assigned to different tracklets.

실험 결과

연구 질문

• RQ1 기본 추적기의 수정 없이 다양한 MOT 벤치마크에서 유니버설 트랙릿 부스터가 IDF1 점수를 향상시킬 수 있는가?
• RQ2 가우시안 커널을 활용한 적응형 레이블 스무딩 전략은 훈련 중 ID 전환 위치 예측의 안정성 향상에 얼마나 효과적인가?
• RQ3 다중 헤드 자기주의는 재연결을 위한 트랙릿 임베딩 품질 향상에 어느 정도 기여하는가?
• RQ4 재연결 이전에 트랙릿을 분할함으로써 두 가지 유형의 연관 오류를 동시에 줄일 수 있는가?
• RQ5 분할 및 재결합 결정에 대한 다양한 추론 임계값 설정에 대해 이 방법의 강건성은 어떠한가?

주요 결과

• Splitter + Connector의 전체 트랙릿 부스터는 기준 추적기 대비 MOT17에서 IDF1을 6.1% 향상시켰고, MOT20에서는 5.8% 향상시켰다.
• 독립형 Connector 모듈은 IDF1을 3.7% 향상시켜 강력한 재연결 능력을 입증했다.
• 독립형 Splitter 모듈은 IDF1을 1.4% 감소시켜, 재연결 없이 분할만으로는 성능이 악화됨을 확인했다.
• 적응형 스무딩 전략은 기준 대비 분할 AP를 9.4% 포인트 향상시켜 훈련 안정성 향상에 효과적임을 입증했다.
• Connector의 최적의 어텐션 헤드 수는 네 개였으며, 그 이상으로 늘릴 경우 성능 향상이 없었고, 이는 복잡성과 성능 사이의 균형을 보여주었다.
• 다양한 추론 임계값 범위에서 일관된 IDF1 향상(>3.0%)을 보이며, 하이퍼파rameter 설정에 대한 강건성을 입증했다.

Figure 2: The flowchart of the proposed tracklet booster. The top part and bottom part show the process of Splitter and Connector, respectively. $f_{s}$ and $f_{c}$ represent the dilated temporal convolution model and multi-head self-attention based encoder used in Splitter and Connector, respective