[논문 리뷰] Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking

Yunzhong Hou, Liang Zheng외 2명|arXiv (Cornell University)|2019. 11. 27.

Video Surveillance and Tracking Methods참고 문헌 55인용 수 16

한 줄 요약

이 논문은 국소적 샘플링된 데이터(단일 카메라 추적의 경우 연속 프레임, 다중 카메라 추적의 경우 인접한 카메라)를 기반으로 훈련하는 국소 인식 인식 메트릭(LAAM)을 제안한다. 이는 다중 타겟 다중 카메라 추적(MTMCT) 성능을 향상시키는 새로운 메트릭 학습 방식으로, DukeMTMC에서는 최신 기준 성능(SOTA)을 달성하고 CityFlow에서는 상당한 성능 향상을 보이며, 국소 매칭 시나리오에서 전역적으로 훈련된 re-ID 특징보다 뛰어난 성능을 발휘한다.

ABSTRACT

Multi-target multi-camera tracking (MTMCT) systems track targets across cameras. Due to the continuity of target trajectories, tracking systems usually restrict their data association within a local neighborhood. In single camera tracking, local neighborhood refers to consecutive frames; in multi-camera tracking, it refers to neighboring cameras that the target may appear successively. For similarity estimation, tracking systems often adopt appearance features learned from the re-identification (re-ID) perspective. Different from tracking, re-ID usually does not have access to the trajectory cues that can limit the search space to a local neighborhood. Due to its global matching property, the re-ID perspective requires to learn global appearance features. We argue that the mismatch between the local matching procedure in tracking and the global nature of re-ID appearance features may compromise MTMCT performance. To fit the local matching procedure in MTMCT, in this work, we introduce locality aware appearance metric (LAAM). Specifically, we design an intra-camera metric for single camera tracking, and an inter-camera metric for multi-camera tracking. Both metrics are trained with data pairs sampled from their corresponding local neighborhoods, as opposed to global sampling in the re-ID perspective. We show that the locally learned metrics can be successfully applied on top of several globally learned re-ID features. With the proposed method, we report new state-of-the-art performance on the DukeMTMC dataset, and a substantial improvement on the CityFlow dataset.

연구 동기 및 목표

• 다중 타겟 다중 카메라 추적(MTMCT)에서 전역 re-ID 특징과 국소 데이터 연관 간의 불일치를 해결하기 위해.
• 단일 카메라 및 다중 카메라 추적의 국소 주변 조건에 맞게 설계된 메트릭을 통해 추적 정확도를 향상시키기 위해.
• 국소 매칭에 적용될 때 국소적으로 학습된 메트릭이 전역적으로 학습된 re-ID 특징보다 우수한 성능을 보임을 입증하기 위해.
• LAAM의 효과성을 다양한 데이터셋과 re-ID 특징 백본에서 검증하기 위해.

제안 방법

• 동일한 카메라 내에서 연속 프레임의 트랙렛 쌍을 기반으로 훈련하는 내부 카메라 메트릭을 제안하며, 국소 시간 창을 사용한다.
• 목표가 연속적으로 나타날 수 있는 인접한 카메라에서의 트랙렛 쌍을 기반으로, 공간-시간적 근접성에 따라 훈련하는 외부 카메라 메트릭을 도입한다.
• 표준 re-ID에서 사용하는 전역 샘플링과는 달리, 훈련 쌍을 국소 주변부에서만 샘플링한다.
• 백본을 미세조정하지 않고, 전역적으로 사전 훈련된 re-ID 특징(예: IDE, PCB, 트리플릿) 위에 국소적으로 훈련된 메트릭을 적용한다.
• 트랙렛 간 유사도 점수를 계산하기 위해 3층의 메트릭 네트워크를 사용하며, 국소 매칭 성능 최적화를 위해 훈련을 최적화한다.
• 슬라이딩 윈도우 전략을 사용하여 국소 주변부를 정의하며, 내부 카메라의 최적 윈도우 크기는 600 프레임, 외부 카메라의 경우 2,400 프레임이다.

실험 결과

연구 질문

• RQ1 전역적으로 훈련된 re-ID 특징을 사용하는 것과 비교해, 국소 데이터 쌍에서 메트릭을 훈련하는 것이 다중 타겟 다중 카메라 추적 성능을 향상시키는가?
• RQ2 국소 매칭을 위한 국소성 인식 메트릭이 검색 공간이 제한된 추적 시나리오에서 표준 전역 re-ID 특징을 능가할 수 있는가?
• RQ3 LAAM의 성능는 다양한 re-ID 특징 백본과 데이터셋에서 어떻게 변할까?
• RQ4 MTMCT에서 내부 카메라 및 외부 카메라 메트릭 학습에 가장 적합한 샘플링 윈도우 크기는 무엇인가?

주요 결과

• LAAM은 DukeMTMC 데이터셋에서 새로운 최신 기준 성능(SOTA)을 달성했으며, 단일 카메라 추적(SCT)에서 92.5%의 IDF1, 어려운 테스트 세트에서 다중 카메라 추적(MCT)에서 88.6%의 IDF1을 기록했다.
• DukeMTMC의 어려운 테스트 세트에서 LAAM은 SCT에서 85.8%의 IDF1, MCT에서 82.3%의 IDF1을 기록했으며, 두 번째로 우수한 방법보다 각각 +4.6%와 +8.3% 높은 성능을 보였다.
• CityFlow 데이터셋에서 LAAM은 베이스라인에 비해 상당한 성능 향상을 보이며, 다양한 추적 시나리오에 걸쳐 강력한 일반화 능력을 입증했다.
• 절단 분석 결과, 내부 카메라 및 외부 카메라 메트릭은 각각 해당 추적 단계에서 가장 효과적이며, 뒤바뀐 경우 성능이 크게 떨어지는 것으로 확인되었다.
• 최적의 샘플링 윈도우 크기는 내부 카메라에 600 프레임, 외부 카메라에 2,400 프레임이며, 충분한 훈련 데이터와 국소성의 균형을 이룬다.
• 추가적인 유사도 계산으로 인해 추론 시간이 약 5% 증가했지만, LAAM은 특히 복잡한 MCT 시나리오에서 매칭 정확도를 향상시켜 전체 데이터 연관 비용을 감소시켰다.