[논문 리뷰] Chained-Tracker: Chaining Paired Attentive Regression Results for End-to-End Joint Multiple-Object Detection and Tracking

Jinlong Peng, Changan Wang외 8명|arXiv (Cornell University)|2020. 07. 29.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 32

한 줄 요약

본 논문은 인접 프레임에 대해 쌍으로 묶인 경계 상자를 회귀하고 이를 연결하여 궤적을 형성하는 온라인 엔드-투-엔 MOT 모델인 Chained-Tracker (CTracker)를 제시하며, 추가 학습 데이터 없이 MOT16/MOT17에서 최첨단 성능을 달성한다.

ABSTRACT

Existing Multiple-Object Tracking (MOT) methods either follow the tracking-by-detection paradigm to conduct object detection, feature extraction and data association separately, or have two of the three subtasks integrated to form a partially end-to-end solution. Going beyond these sub-optimal frameworks, we propose a simple online model named Chained-Tracker (CTracker), which naturally integrates all the three subtasks into an end-to-end solution (the first as far as we know). It chains paired bounding boxes regression results estimated from overlapping nodes, of which each node covers two adjacent frames. The paired regression is made attentive by object-attention (brought by a detection module) and identity-attention (ensured by an ID verification module). The two major novelties: chained structure and paired attentive regression, make CTracker simple, fast and effective, setting new MOTA records on MOT16 and MOT17 challenge datasets (67.6 and 66.6, respectively), without relying on any extra training data. The source code of CTracker can be found at: github.com/pjl1995/CTracker.

연구 동기 및 목표

• Tracking-by-detection의 비최적성과 부분적으로 엔드-투-엔 MOT 접근법의 문제를 동기화하고 해결한다.
• 검출, 특징 추출, 데이터 연결을 함께 수행하는 완전한 엔드-투-엔 모델을 제안한다.
• 교차 프레임 연관성을 쌍-기반 검출 문제로 바꾸는 Paired Attentive Regression 및 체인-구조를 도입한다.
• 추가 학습 데이터 없이 MOT16 및 MOT17에서 최첨단 MOT 성능을 보여준다.

제안 방법

• 인접 프레임 쌍(체인 노드)을 입력으로 처리하고 두 프레임에서 같은 대상의 경계 상자를 나타내는 쌍으로 회귀한다.
• 객체 주의(attention)와 아이덴티티 주의(attention)로 구성된 공동 주의 모듈을 사용하여 쌍 경계 상자 회귀를 안내한다.
• 단일 회귀에서 서로 이웃하는 프레임용 두 경계 상자를 예측하는 Chained-Anchors를 도입한다.
• IoU 기반 매칭과 Kuhn-Munkres 알고리즘으로 인접 노드를 연결하여 긴 궤적을 형성한다.
• 메모리 공유 메커니즘(MSM)을 도입하여 프레임 특성을 노드 간에 재사용하고 추론 속도를 높인다.
• 회귀, 분류, ID 검증 항을 포함하는 멀티태스크 손실과 focal 손실로 학습한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔 MOT 모델이 검출, 특징 추출, 데이터 연결을 함께 최적화하면 전통적 추적-별 검출(tracking-by-detection) 및 부분적으로 엔드-투-엔 방법을 능가할 수 있는가?
• RQ2 객체 주의 및 아이덴티티 주의의 페어링이 온라인 MOT 설정에서 회귀 정확도와 데이터 연결을 개선하는가?
• RQ3 인접 프레임 회귀를 통한 체인형 접근이 교차 프레임 연관성을 강건한 쌍-기반 검출 문제로 전환하는가?
• RQ4 온라인 MOT 추론에서 메모리 공유의 효율성과 정확도 간의 트레이드-오프는 어떻게 되는가?

주요 결과

• CTracker는 추가 학습 데이터 없이 MOT16(67.6)과 MOT17(66.6)에서 최첨단 MOTA를 달성한다.
• 객체-주의 및 공동 주의(ID 검증 포함)가 MOTA와 IDF1을 상당히 개선한다는 제거 실험이 보여준다.
• 전체 공동 주의 버전(CTracker)은 IDF1을 눈에 띄게 개선하고 데이터 연결을 더 잘 반영하지만 MOTP는 약간 감소한다.
• 메모리 공유 메커니즘은 계산을 줄이고 1080p 입력에서 약 34.4 FPS의 추적을 가능하게 한다.
• MOT17의 온라인 MOT 기초선과 비교할 때, CTracker는 66.6 MOTA 및 57.4 IDF1에 도달하고 MOTP는 경쟁력을 가진다.
• 연쇄화 전략은 인접 프레임 쌍 간 IoU 기반 매칭 및 KM 할당을 통해 긴 궤적을 효과적으로 형성한다.