[논문 리뷰] Learning a Proposal Classifier for Multiple Object Tracking

Peng Dai, Renliang Weng외 4명|arXiv (Cornell University)|2021. 03. 14.

Video Surveillance and Tracking Methods참고 문헌 65인용 수 8

한 줄 요약

이 논문은 추적을 제안 생성, 그래프 컬러션 네트워크(GCN)를 통한 점수 평가, 궤적 추론으로 포지션하는 학습 가능한, 제안 기반의 다중 객체 추적(MOT) 프레임워크를 제안한다. 제안된 프레임워크는 끝에서 끝까지 학습 가능한 제안 점수 평가와 반복적 그래프 클러스터링을 통한 차폐에 대한 강건한 대응을 통해 MOT17과 MOT20에서 최신 기준 성능을 달성하며, 각각 IDF1을 1.2점과 3.4점 향상시켰다.

ABSTRACT

The recent trend in multiple object tracking (MOT) is heading towards leveraging deep learning to boost the tracking performance. However, it is not trivial to solve the data-association problem in an end-to-end fashion. In this paper, we propose a novel proposal-based learnable framework, which models MOT as a proposal generation, proposal scoring and trajectory inference paradigm on an affinity graph. This framework is similar to the two-stage object detector Faster RCNN, and can solve the MOT problem in a data-driven way. For proposal generation, we propose an iterative graph clustering method to reduce the computational cost while maintaining the quality of the generated proposals. For proposal scoring, we deploy a trainable graph-convolutional-network (GCN) to learn the structural patterns of the generated proposals and rank them according to the estimated quality scores. For trajectory inference, a simple deoverlapping strategy is adopted to generate tracking output while complying with the constraints that no detection can be assigned to more than one track. We experimentally demonstrate that the proposed method achieves a clear performance improvement in both MOTA and IDF1 with respect to previous state-of-the-art on two public benchmarks. Our code is available at https://github.com/daip13/LPC_MOT.git.

연구 동기 및 목표

• 학습 가능한 끝에서 끝까지 통합 가능한 프레임워크를 통해 다중 객체 추적(MOT)의 데이터 연동 문제를 해결한다.
• 후보 궤적 내 고차원 구조적 패턴을 모델링하여 혼잡하거나 가림 상황에서도 정체성 유지 능력을 향상시킨다.
• 고품질의 궤적 제안을 유지하면서도 제안 생성 과정의 계산 비용을 줄인다.
• 수동 기반의 유사도 설계를 대체하여, 구조적 순수성에 기반해 제안을 점수 평가하는 학습 가능한 GCN을 도입한다.
• 제안 점수 평가와 오버lapping 제거 추론을 통합하여 공개 MOT 벤치마크에서 최신 기준 성능을 달성한다.

제안 방법

• Faster R-CNN에 영감을 얻은 이중 단계, 제안 기반의 MOT 프레임워크를 제안하여 추적을 제안 생성, 점수 평가, 궤적 추론으로 분해한다.
• 계산 비용을 최소화하면서도 검출 결과를 후보 궤적으로 그룹화함으로써 제안을 생성하기 위해 반복적 그래프 클러스터링 알고리즘을 사용한다.
• 구조적 패턴을 모델링하고 궤적 순수도를 추정함으로써 제안의 점수를 평가하기 위해 학습 가능한 그래프 컬러션 네트워크(GCN)를 구현한다.
• 검출 결과가 여러 트랙에 할당되는 충돌을 해결하기 위해, 각 검출 결과가 최대 한 개의 트랙에만 할당되도록 보장하는 오버lapping 제거 전략을 적용한다.
• 노드가 검출 결과 또는 트랙릿이고, 간선이 시간 간의 가능한 연동을 나타내는 유사도 그래프를 구성한다.
• 각 모듈에 대해 표준 외부 컴포넌트를 활용하여 모듈화되고 확장 가능한 설계를 구현한다.

실험 결과

연구 질문

• RQ1 학습 가능한 제안 기반 프레임워크가 기존 수동 기반 MOT 방법에 비해 정체성 유지 능력과 가림에 대한 강건성에서 뛰어난 성능을 보일 수 있는가?
• RQ2 쌍별 매칭 비용에 비해 GCN 기반 점수 평가 메커니즘이 후보 궤적 내 고차원 구조적 패턴을 얼마나 효과적으로 포착하는가?
• RQ3 반복적 그래프 클러스터링이 탐욕적 또는 완전 탐색 방법에 비해 제안 품질과 계산 효율성 사이의 더 나은 트레이드오프를 제공하는가?
• RQ4 제안 생성 및 점수 평가 모듈의 끝에서 끝까지 학습이 추적 성능 향상에 기여하는가?
• RQ5 기본 MOT 벤치마크에서 제안된 프레임워크는 MOTA와 IDF1 측면에서 최신 기준 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 MOT17에서 59.0% MOTA와 66.8% IDF1을 달성하여 새로운 최신 기준을 수립하였으며, 이전 최신 기준 대비 IDF1이 1.2점 향상되었다.
• MOT20에서는 56.3% MOTA와 62.5% IDF1을 기록하여 이전 방법 대비 IDF1이 3.4점 향상되었다.
• 제안 생성을 위한 반복적 탐욕 클러스터링 전략은 단순 탐욕 방법보다 略적으로 뛰어난 성능을 보였으며, MOTA 63.6%와 IDF1 71.7%를 기록했다.
• GCN 기반 순수도 네트워크는 제안 내 고차원 구조적 패턴을 모델링함으로써 가림에 대한 강건성을 크게 향상시켰다.
• 순위 기반 제안을 사용한 오버lapping 제거 전략은 최적의 성능을 달성하였으며, 단순 오버lapping 제거 방법을 사용할 경우 MOTA 63.9%와 IDF1 71.8%를 기록했다.
• 유사한 MOTA를 유지하면서도 훨씬 높은 IDF1을 기록함으로써, 동일한 검출 결과와 후처리를 사용함에도 불구하고 MPNTrack을 초월하는 연동 정확도를 보였다.