[논문 리뷰] ReST: A Reconfigurable Spatial-Temporal Graph Model for Multi-Camera Multi-Object Tracking

Cheng-Che Cheng, Min-Xuan Qiu외 2명|arXiv (Cornell University)|2023. 08. 25.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 다중 카메라 다중 객체 추적을 위한 재구성 가능한 공간-시간 그래프 모델인 ReST를 제안한다. 이 모델은 연관성을 공간적 단계와 시간적 단계로 분리하여 침몰과 ID 전환에 대한 강건성을 향상시킨다. 반복적으로 그래프를 재구성하여 서로 다른 시점과 카메라 간에 일관된 검출 결과를 융합함으로써, 단일 카메라 추적기의 출력에 의존하지 않고 Wildtrack에서 최고 성능을 기록하고 다른 벤치마크에서도 뛰어난 성능을 달성한다.

ABSTRACT

Multi-Camera Multi-Object Tracking (MC-MOT) utilizes information from multiple views to better handle problems with occlusion and crowded scenes. Recently, the use of graph-based approaches to solve tracking problems has become very popular. However, many current graph-based methods do not effectively utilize information regarding spatial and temporal consistency. Instead, they rely on single-camera trackers as input, which are prone to fragmentation and ID switch errors. In this paper, we propose a novel reconfigurable graph model that first associates all detected objects across cameras spatially before reconfiguring it into a temporal graph for Temporal Association. This two-stage association approach enables us to extract robust spatial and temporal-aware features and address the problem with fragmented tracklets. Furthermore, our model is designed for online tracking, making it suitable for real-world applications. Experimental results show that the proposed graph model is able to extract more discriminating features for object tracking, and our model achieves state-of-the-art performance on several public datasets.

연구 동기 및 목표

• 혼잡한 환경에서 단일 카메라 추적기의 침몰과 ID 전환 문제를 다루는 데서 비롯되는 한계를 해결한다.
• 기존의 그래프 기반 MC-MOT 방법에서 단일 카메라 추적기로부터 사전 생성된 트랙릿에 의존하는 문제를 해결한다.
• 이중 단계 그래프 프레임워크에서 공간적·시간적 일관성을 명시적으로 모델링하여 특징 표현을 향상시킨다.
• 반복적인 그래프 재구성으로 미래 프레임에 대한 의존성을 제거함으로써 온라인 추적을 가능하게 한다.
• 다양한 조명 조건과 운동 조건에서 외관 특징에 대한 의존도를 줄여 데이터셋 간 일반화 능력을 향상시킨다.

제안 방법

• MC-MOT을 두 가지 하위 작업으로 공식화한다: 공간적 연관성(동일 시간대의 다중 카메라 간 매칭)과 시간적 연관성(다중 프레임 간 매칭).
• 동일한 프레임 내에서 다중 카메라의 검출 결과를 사용해 공간 그래프를 구성하며, 간선 특징은 외관과 기하학적 일관성 기반으로 한다.
• 노드를 동일한 객체로 통합하는 그래프 재구성 모듈을 적용하여 연결 성분으로 통합함으로써 시간적 연관성을 위한 그래프를 단순화한다.
• 노드를 프레임 간에 연결하여 시간 그래프로 재구성함으로써 시간적 특징 학습과 개선을 가능하게 한다.
• 특수 작업 제약 조건을 적용하여 공간 및 시간 그래프를 별도로 훈련시켜 특징의 분류 능력 향상과 최적화 안정성 향상을 도모한다.
• 추론 중에 반복적으로 그래프를 재구성하여 연관성과 동적 환경에서의 특징 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 공간적 및 시간적 연관성을 분리한 이중 단계 그래프 기반 접근 방식이 다중 카메라 환경에서 추적의 강건성을 향상시킬 수 있는가?
• RQ2 그래프 재구성은 특징 표현을 어떻게 향상시키고 다중 객체 추적에서 분할 현상을 줄이는가?
• RQ3 외관 특징에 대한 강한 의존도 없이 모델이 얼마나 잘 다양한 데이터셋 간에 일반화되는가?
• RQ4 공간적 및 시간적 학습을 분리함으로써 통합된 공간-시간 그래프 모델보다 더 나은 최적화와 성능을 달성할 수 있는가?
• RQ5 제안된 방법이 미래 프레임에 대한 의존성이 없이 온라인 다중 카메라 다중 객체 추적에서 최고 성능을 달성할 수 있는가?

주요 결과

• ReST는 Wildtrack 데이터셋에서 IDF1 91.6과 MOTA 97.0을 기록하며 최고 성능을 달성하여 기존 방법을 초월한다.
• Wildtrack에서 외관, 투영, 속도 특징을 사용할 경우, IDF1 91.6과 MOTA 97.0을 기록하여 외관 변화에 대한 강건성을 입증한다.
• 외관 특징을 제거하면 성능은 IDF1 89.2와 MOTA 95.0으로 떨어지지만, 이는 ReST가 강력한 외관 신호 없이도 잘 일반화됨을 시사한다.
• 통합된 공간-시간 그래프 모델은 분리된 공간-시간 그래프보다 성능이 열 劣하다. t-SNE 시각화 결과에서 양성 간선과 음성 간선의 분리가 뚜렷하지 않음을 확인할 수 있다.
• ReST는 뛰어난 데이터셋 간 일반화 능력을 보이며, Wildtrack에서 미세조정하고 CAMPUS에서 테스트할 경우 MOTA가 최대 15.5%포인트 향상된다.
• t-SNE 시각화 결과, ReST는 표준 ReID 특징보다 더 분류 능력이 뛰어난 노드 특징을 학습하며, 클래스 간 분리도 향상되고 클래스 내 군집화도 더 잘 이루어진다.