[논문 리뷰] TrackFormer: Multi-Object Tracking with Transformers

Tim Meinhardt, Alexander M. Kirillov외 2명|arXiv (Cornell University)|2021. 01. 07.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

TrackFormer은 종단간 Transformer 기반 인코더-디코더 아키텍처를 사용하여 다중 객체 추적을 위한 새로운 추적-주의(paradigm)를 도입한다. 자동재귀적 트랙 쿼리가 영상 시퀀스를 거쳐 진화함으로써 검출과 데이터 연동을 동시에 수행하며, 그래프 최적화나 명시적 운동/외형 모델링에 의존하지 않고 MOT17, MOT20, MOTS20 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The challenging task of multi-object tracking (MOT) requires simultaneous reasoning about track initialization, identity, and spatio-temporal trajectories. We formulate this task as a frame-to-frame set prediction problem and introduce TrackFormer, an end-to-end trainable MOT approach based on an encoder-decoder Transformer architecture. Our model achieves data association between frames via attention by evolving a set of track predictions through a video sequence. The Transformer decoder initializes new tracks from static object queries and autoregressively follows existing tracks in space and time with the conceptually new and identity preserving track queries. Both query types benefit from self- and encoder-decoder attention on global frame-level features, thereby omitting any additional graph optimization or modeling of motion and/or appearance. TrackFormer introduces a new tracking-by-attention paradigm and while simple in its design is able to achieve state-of-the-art performance on the task of multi-object tracking (MOT17 and MOT20) and segmentation (MOTS20). The code is available at https://github.com/timmeinhardt/trackformer .

연구 동기 및 목표

• 기존의 이중 단계 추적-검출 방식을 대체하여 다중 객체 추적(MOT)에서 검출과 데이터 연동을 동시에 해결하기 위해 종단간 주의 기반 접근법을 도입한다.
• Transformer 디코더 내부의 자기주의 및 상호주의를 활용하여 별도의 데이터 연동 모듈, 그래프 최적화, 명시적 운동/외형 모델링의 필요성을 제거한다.
• 정체성 유지 트랙 쿼리가 프레임 간에 자동재귀적으로 업데이트되어 시공간적 궤적을 형성하는 새로운 패러다임인 '추적-주의'를 제안한다.
• 표준 MOT 벤치마크(MOT17, MOT20)에서 최신 기술 수준의 성능을 달성하고, 마스크 예측 헤드를 통해 인스턴스 세그멘테이션(MOTS20)으로 확장한다.

제안 방법

• 인코더-디코더 Transformer 아키텍처를 사용하여 프레임 간 세트 예측 문제로 MOT를 공식화한다.
• 초기 검출을 위해 정적 객체 쿼리를 사용하고, 프레임 간 정체성 유지 추적을 위해 자동재귀적 트랙 쿼리를 활용한다.
• 트랙 쿼리 내부의 자기주의와 쿼리 및 전역 프레임 수준 특징 간 상호주의를 통해 시공간적 추론을 수행한다.
• 주의 메커니즘을 통해 검출과 데이터 연동을 통합적으로 수행함으로써 후처리 매칭 또는 그래프 최적화의 필요성을 제거한다.
• 시간이 지남에 따라 진화하는 정체성 유지 트랙 쿼리를 도입하여 주의 기반 정밀 조정을 통해 객체 정체성을 유지한다.
• 인스턴스 세그멘테이션을 가능하게 하기 위해 마스크 예측 헤드를 모델에 확장하여 MOTS20 벤치마크에서의 성능을 달성한다.

Figure 1 : TrackFormer jointly performs object detection and tracking-by-attention with Transformers. Object and autoregressive track queries reason about track initialization, identity, and spatiotemporal trajectories.

실험 결과

연구 질문

• RQ1 순수한 주의 기반 Transformer 아키텍처가 외부 데이터 연동 모듈에 의존하지 않고 종단간 다중 객체 추적을 달성할 수 있는가?
• RQ2 자동재귀적 트랙 쿼리의 사용이 프레임 간 객체 정체성과 궤적 일관성을 유지하는 데 얼마나 효과적인가?
• RQ3 추적-주의 패러다임이 표준 벤치마크에서 기존의 추적-검출 및 추적-회귀 방법을 초월할 수 있는가?
• RQ4 단일 Transformer 기반 아키텍처가 통합 프레임워크 내에서 검출, 추적, 세그멘테이션을 동시에 수행할 수 있는 정도는 어느 정도인가?

주요 결과

• TrackFormer는 공개 검출을 사용하여 MOT17 벤치마크에서 MOTA 62.3% 및 IDF1 57.6%의 최신 기술 수준 성능을 달성한다.
• MOT20 벤치마크에서는 비공개 검출을 사용하여 MOTA 68.6% 및 IDF1 65.7%를 기록하며 새로운 최신 기술 수준을 수립한다.
• MOTS20 인스턴스 세그멘테이션 벤치마크에서는 sMOTSA 54.9%, IDF1 63.6%, MOTSA 69.9%를 달성하여 세그멘테이션으로의 일반화 능력이 뛰어나다는 것을 입증한다.
• MOT17 및 MOT20의 모든 시퀀스에서 이전 방법보다 뛰어난 성능을 보이며, 고밀도 객체 및 복잡한 운동을 포함한 시퀀스에서도 우수한 성능을 발휘한다.
• 제거 실험을 통해 자동재귀적 트랙 쿼리 메커니즘이 정체성 유지 및 궤적 일관성 유지를 위해 필수적임을 확인한다.
• 명시적 운동 또는 외형 모델링 없이도 뛰어난 성능를 달성한 점은 시공간 추론에서 전역 주의의 효과성을 입증한다.

Figure 2 : TrackFormer casts multi-object tracking as a set prediction problem performing joint detection and tracking-by-attention . The architecture consists of a CNN for image feature extraction, a Transformer [ 51 ] encoder for image feature encoding and a Transformer decoder which applies self-