[논문 리뷰] Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking

Chanho Kim, Fuxin Li외 2명|arXiv (Cornell University)|2021. 01. 28.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 4

한 줄 요약

이 논문은 메모리 업데이트 중에 모든 추적 대상의 외관 특징을 공동으로 활용하여 실시간 다중 객체 추적에서 분류 능력 있는 외관 모델링을 향상시키는 다트랙 풀링 모듈을 제안한다. 이 모듈을 Bilinear LSTM 프레임워크와 새로운 학습 전략과 통합함으로써 탐지 결과를 빠르게 연결하는 그리디 온라인 데이터 연결 방식을 가능하게 하여, 최소한의 추론 지연으로 MOT 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

In multi-object tracking, the tracker maintains in its memory the appearance and motion information for each object in the scene. This memory is utilized for finding matches between tracks and detections and is updated based on the matching result. Many approaches model each target in isolation and lack the ability to use all the targets in the scene to jointly update the memory. This can be problematic when there are similar looking objects in the scene. In this paper, we solve the problem of simultaneously considering all tracks during memory updating, with only a small spatial overhead, via a novel multi-track pooling module. We additionally propose a training strategy adapted to multi-track pooling which generates hard tracking episodes online. We show that the combination of these innovations results in a strong discriminative appearance model, enabling the use of greedy data association to achieve online tracking performance. Our experiments demonstrate real-time, state-of-the-art performance on public multi-object tracking (MOT) datasets.

연구 동기 및 목표

• 기존 추적기들이 외관 메모리를 별개로 업데이트하여 유사한 외관을 가진 다른 객체들로부터 잠재적으로 분류 능력 있는 부정 예제를 忽略하는 한계를 해결하기 위해.
• 시각적으로 유사한 객체들이 존재하는 장면에서 모든 트랙을 공동으로 모델링함으로써 추적의 강건성을 향상시키기 위해.
• 단일 배치 내 트랙 간 의존성을 활용하여 장수열 학습을 지원하는 학습 전략을 개발하여 이전 방법에서 나타나는 단순화된 수열 학습 편향을 극복하기 위해.
• 앞서보는 프레임이나 복잡한 연결 전략 없이도 단순한 그리디 데이터 연결 전략을 사용하여 실시간, 온라인 추적 성능를 달성하기 위해.

제안 방법

• 모든 다른 트랙의 외관 특징을 최대 풀링하여 각 대상의 메모리 업데이트를 위한 맥락으로 사용하는 다트랙 풀링 모듈을 도입한다.
• 다트랙 풀링을 통합하여 공동 외관 모델링이 가능한 Bilinear LSTM 아키텍처를 적응시켜, 장면 맥락에 따라 매칭 가능성 값을 동적으로 조정할 수 있도록 한다.
• 트랙 간 배치 내 의존성을 활용하여 장수열을 시뮬레이션하는 새로운 온라인 학습 전략을 제안하여 전체 길이의 트랙에 대해 엔드 투 엔드 학습이 가능하도록 한다.
• 운동 모델을 사용한 트랙 연장 메커니즘을 도입하여 검출 간격 동안 트랙을 유지함으로써, 가림을 견디는 능력을 향상시킨다.
• 예측된 위치를 보정하기 위해 경계 상자 보정기(correction)를 적용하여, 특히 연장된 트랙에서의 정확도를 향상시킨다.
• 신뢰도 임계값과 최대 허용된 검출 누락 프레임 수를 설정한 그리디 데이터 연결 전략을 사용하여 실시간 성능를 유지한다.

실험 결과

연구 질문

• RQ1 외관 메모리 업데이트 중에 모든 추적 대상을 공동으로 모델링하면, 시각적으로 유사한 목표물이 존재하는 장면에서 추적 정확도가 향상되는가?
• RQ2 다트랙 풀링은 계산 오버헤드를 증가시키지 않으면서도 외관 모델의 분류 능력을 향상시키는가?
• RQ3 강력하고 맥락 인식 능력 있는 외관 모델과 결합된 그리디 데이터 연결 전략이 최고 성능을 달성할 수 있는가?
• RQ4 짧은 무작위 수열 학습이 아닌, 배치 내 의존성을 활용한 미니배치 학습을 통해 장수열 추적 모델을 효과적으로 학습시킬 수 있는가?
• RQ5 기존의 온라인 및 근접 온라인 추적기들과 비교했을 때, 제안된 방법은 표준 MOT 벤치마크에서 속도와 정확도 측면에서 어떻게 성능를 내는가?

주요 결과

• 제안된 추적기는 MOT17 및 MOT16 벤치마크에서 온라인 설정에서 각각 53.5 MOTA와 48.3 IDF1로 최고 성능(SOTA)을 달성하여 대부분의 이전 온라인 추적기들을 능가한다.
• 근접 온라인 설정에서 기준 모델인 MHT-bLSTM 대비 다트랙 풀링 모듈이 IDF1을 7.5% 향상시키고 MOTA를 12.8% 향상시켜 정체성 전환과 단절 수를 크게 줄였다.
• Tracktor 처리된 검출 결과를 사용할 경우, 가장 가까운 경쟁자 대비 3배 빠른 속도 향상을 달성하면서도 뛰어난 IDF1 성능과 낮은 정체성 전환 수를 유지한다.
• 제거 분석 결과 다트랙 풀링 모듈이 모든 지표에서 일관되게 성능 향상을 이끌어내며, 특히 정체성 전환과 단절을 줄이는 데 뛰어난 효과를 보였다.
• Tracktor 보정 없이도 우수한 성능를 내어, 공개 검출 결과만으로도 검출 품질에 대해 뛰어난 강건성을 보였다.
• 학습 전략이 효과적인 장수열 학습을 가능하게 하여, 단순 수열 사전학습 대비 더 나은 일반화 능력과 향상된 성능를 이끌어냈다.