[논문 리뷰] NeighborTrack: Improving Single Object Tracking by Bipartite Matching with Neighbor Tracklets

Yu‐Hsi Chen, Chien-Yao Wang외 5명|arXiv (Cornell University)|2022. 11. 12.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

NeighborTrack는 이웃 트랙릿을 활용하여 이분 매칭을 통해 추적 결과를 검증함으로써, 음영 처리 기간 동안 거짓 긍정을 크게 줄이고 단일 객체 추적 성능을 향상시키는 후처리기입니다. OSTrack에 적용했을 때 VOT에서 EAO가 1.92% 향상되고 내성성이 2.11% 향상되며, LaSOT에서는 상태최저 기록인 72.25% AUC를 달성하고 GOT-10K에서는 75.7% AO를 기록합니다.

ABSTRACT

We propose a post-processor, called NeighborTrack, that leverages neighbor information of the tracking target to validate and improve single-object tracking (SOT) results. It requires no additional data or retraining. Instead, it uses the confidence score predicted by the backbone SOT network to automatically derive neighbor information and then uses this information to improve the tracking results. When tracking an occluded target, its appearance features are untrustworthy. However, a general siamese network often cannot tell whether the tracked object is occluded by reading the confidence score alone, because it could be misled by neighbors with high confidence scores. Our proposed NeighborTrack takes advantage of unoccluded neighbors' information to reconfirm the tracking target and reduces false tracking when the target is occluded. It not only reduces the impact caused by occlusion, but also fixes tracking problems caused by object appearance changes. NeighborTrack is agnostic to SOT networks and post-processing methods. For the VOT challenge dataset commonly used in short-term object tracking, we improve three famous SOT networks, Ocean, TransT, and OSTrack, by an average of ${1.92\%}$ EAO and ${2.11\%}$ robustness. For the mid- and long-term tracking experiments based on OSTrack, we achieve state-of-the-art ${72.25\%}$ AUC on LaSOT and ${75.7\%}$ AO on GOT-10K. Code duplication can be found in https://github.com/franktpmvu/NeighborTrack.

연구 동기 및 목표

• 단일 객체 추적(SOT)에서 외관 특징이 신뢰할 수 없어지는 음영 처리 기간 동안 거짓 추적을 해결하기 위함.
• 재학습이나 새로운 데이터 수집 없이 공간-시간적 이웃 정보를 활용하여 추적의 내성성을 향상시키기 위함.
• 신뢰도 점수와 이웃 트랙릿만을 사용하여 기존 SOT 모델을 향상시키는 후처리기 개발하기 위함.
• 형태 변화나 음영 처리로 인한 외관 변화 또는 유사한 외관을 가진 물체로 인한 거짓 긍정을 줄이기 위함.
• 기본 추적기의 아키텍처를 변경하지 않고도 LaSOT 및 GOT-10K와 같은 표준 벤치마크에서 최고 성능을 달성하기 위함.

제안 방법

• NeighborTrack는 후보 검출 결과와 대상 객체 간에 이분 매칭 그래프를 구축하며, 음영이 없는 이웃 객체를 추가로 참조로 포함합니다.
• 이웃 객체의 공간-시간 트랙릿을 활용해 유사도 점수를 추정함으로써 음영 처리 기간 동안의 신뢰성을 향상시킵니다.
• 기본 SOT 네트워크에서 생성된 신뢰도 점수를 활용해 자동으로 이웃 객체를 식별하고 검증합니다.
• 후보자 집합과 대상 객체 및 이웃 객체 간에 이분 매칭을 수행하여, 각 후보가 다수의 소스에 할당되지 않도록 보장합니다.
• 외관에 의존하지 않는 추가 후보 가설을 생성하기 위해 칼만 필터를 사용하여 외관 변화 시에도 내성성을 높입니다.
• 후처리기로 적용되므로 재학습이나 추가 데이터가 필요 없으며, 시아미즈 및 트랜스포머 기반 SOT 모델 모두와 호환됩니다.

실험 결과

연구 질문

• RQ1 기본 추적기의 재학습 없이도 이웃 정보를 활용해 음영 처리 기간 동안 추적 정확도를 향상시킬 수 있는가?
• RQ2 공간-시간적 이웃 트랙릿을 통합할 경우 SOT에서 이분 매칭의 신뢰성에 어떤 영향을 미치는가?
• RQ3 이웃 매칭 기반 후처리기가 장기 추적 벤치마크에서 최고 성능을 기록하는 SOT 방법을 능가할 수 있는가?
• RQ4 이웃 트랙릿을 사용할 경우 대상 객체와 시각적으로 유사한 물체가 있는 상황에서 거짓 긍정이 줄어드는가?
• RQ5 경량 후처리기가 다양한 SOT 아키텍처에서 성능 향상에 얼마나 기여할 수 있는가?

주요 결과

• NeighborTrack는 Ocean, TransT, OSTrack의 세 가지 SOT 네트워크를 평균적으로 VOT 벤치마크에서 EAO가 1.92% 향상되고 내성성이 2.11% 향상시켰습니다.
• OSTrack384에 적용했을 때 NeighborTrack는 LaSOT에서 72.25% AUC를 기록하여 이전 모든 방법을 초월했습니다.
• GOT-10K에서 OSTrack384에 NeighborTrack를 적용한 결과 75.7% AO를 기록하여 이전 최고 성능이었던 MixFormer-L을 능가했습니다.
• UAV123, OTB100, TrackingNet와 같은 다양한 데이터셋에서 AUC 및 정밀도 측면에서 일관된 성능 향상을 보였습니다.
• 이웃 매칭 임계값 τ를 높일수록 UAV123와 OTB100에서 AUC가 향상되어 이웃 신뢰도에 민감함을 보였습니다.
• Bicycle-9 및 Flag-2와 같은 도전적인 시퀀스에서 NeighborTrack는 외관 변화나 유사한 물체로 인해 기준 추적기가 실패하는 상황에서도 추적을 복구하는 데 성공했습니다.