[논문 리뷰] Online Multiple Object Tracking with Cross-Task Synergy

Song Guo, Jingya Wang외 2명|arXiv (Cornell University)|2021. 04. 01.

Video Surveillance and Tracking Methods참고 문헌 61인용 수 4

한 줄 요약

이 논문은 시간에 민감한 주의 메커니즘과 정체성에 민감한 메모리 집합을 통해 위치 예측과 정체성 임베딩 연관 간 상호보완적 향상을 달성하는 통합형 온라인 다중 객체 추적 프레임워크를 제안한다. 두 작업을 함께 최적화함으로써, 차폐 상황에서도 뛰어난 강인성을 확보하여 MOTChallenge 벤치마크에서 기준 방법 대비 1.0 MOTA 향상을 달성한다.

ABSTRACT

Modern online multiple object tracking (MOT) methods usually focus on two directions to improve tracking performance. One is to predict new positions in an incoming frame based on tracking information from previous frames, and the other is to enhance data association by generating more discriminative identity embeddings. Some works combined both directions within one framework but handled them as two individual tasks, thus gaining little mutual benefits. In this paper, we propose a novel unified model with synergy between position prediction and embedding association. The two tasks are linked by temporal-aware target attention and distractor attention, as well as identity-aware memory aggregation model. Specifically, the attention modules can make the prediction focus more on targets and less on distractors, therefore more reliable embeddings can be extracted accordingly for association. On the other hand, such reliable embeddings can boost identity-awareness through memory aggregation, hence strengthen attention modules and suppress drifts. In this way, the synergy between position prediction and embedding association is achieved, which leads to strong robustness to occlusions. Extensive experiments demonstrate the superiority of our proposed model over a wide range of existing methods on MOTChallenge benchmarks. Our code and models are publicly available at https://github.com/songguocode/TADAM.

연구 동기 및 목표

• 기존 온라인 MOT 방법이 위치 예측과 임베딩 연관을 별개의 작업으로 간주하여 차폐 상황에서 성능이 열 劣하다는 한계를 해결하기 위해.
• 주목적 주의 메커니즘과 메모리 집합을 통해 위치 예측과 데이터 연관 간 상호 이득을 확립하기 위해.
• 현재 방법이 흐린 예측과 노이즈 임베딩으로 인해 실패하기 쉬운 복잡한 상황, 특히 장기적 차폐 상황에서 추적 강인성을 향상시키기 위해.
• 공유 표현을 활용해 두 작업을 함께 최적화하는 통합형 엔드 투 엔드 학습 가능한 모델을 개발하기 위해.

제안 방법

• 정체성 임베딩을 사용해 특징 집중을 안내하는 시간에 민감한 타겟 주의(타겟 주의, TA) 및 방해 요소 주의(방해 요소 주의, DA) 모듈을 도입하여 주변 객체로부터 간섭을 줄인다.
• 장기적인 정체성 표현을 강화하기 위해 시간에 따라 분별력 있는 임베딩을 축적하는 정체성에 민감한 메모리 집합 모듈을 활용한다.
• 주의 모듈을 통해 목표를 강조하고 방해 요소를 억제함으로써, 특히 차폐 상황에서 바운딩 박스 예측을 개선한다.
• 주의 지도 기반 특징 추출에서 유용한 임베딩을 활용해 주의 품질을 추가로 향상시키며, 이는 정상적인 피드백 루프를 형성한다.
• 통합 손실 함수를 사용해 위치 예측, 임베딩 연관, 모든 구성 요소를 엔드 투 엔드 방식으로 함께 최적화한다.
• 차폐 수준에 따라 주의 모듈의 가중치를 적응적으로 조정하여, 난이도가 낮은 경우 성능 저하를 방지하고 고차폐 상황에서만 강한 주의를 적용한다.

실험 결과

연구 질문

• RQ1 온라인 MOT에서 위치 예측과 임베딩 연관을 별개의 작업이 아닌 상호 보완적인 방식으로 함께 최적화할 수 있는가?
• RQ2 목표를 집중하고 방해 요소를 억제함으로써 주의 메커니즘을 어떻게 설계하면 위치 예측의 차폐 강인성을 높일 수 있는가?
• RQ3 정체성에 민감한 메모리 집합이 장기적 차폐 상황에서 주의 품질과 추적 성능을 얼마나 향상시키는가?
• RQ4 차폐 수준에 따라 주의 모듈을 적응적으로 적용할 경우, 균일한 적용 대비 전체 성능 향상이 이루어지는가?
• RQ5 통합형 엔드 투 엔드 모델이 표준 MOT 벤치마크에서 기존 최고 수준의 방법을 초월할 수 있는가?

주요 결과

• 제안된 방법은 MOTChallenge 벤치마크에서 최고 성능을 달성하여 기존 방법 대비 뚜렷한 MOTA 향상을 보였다.
• 차폐 수준이 90% 이상일 경우, 트래커는 25%의 추적 비율을 기록했고, Tracktor++V2는 단지 5%에 그쳐 극한의 차폐 상황에서도 강력한 강인성을 입증했다.
• 주의 모듈의 적응형 가중치 적용을 제거하면 MOTA가 1.0 감소하여, 맥락 인식 주의 적용의 必要성을 확인했다.
• 메모리 집합을 단순한 프레임별 참조 저장 방식으로 대체할 경우 MOTA가 0.5 감소하여 장기적 정체성 표현의 중요성을 입증했다.
• 제거 분석을 통해 타겟 주의 및 방해 요소 주의 모듈이 성능 향상에 기여하며, 특히 고차폐 상황에서 두드러진 기여를 했다.
• 제거 분석을 통해 예측과 연관 간 상호보완성이 검증되었으며, 별도 최적화보다 공동 최적화가 성능이 뛰어나다는 점을 확인했다.