[논문 리뷰] Multi-Target, Multi-Camera Tracking by Hierarchical Clustering: Recent Progress on DukeMTMC Project

Zhimeng Zhang, Jianan Wu외 2명|arXiv (Cornell University)|2017. 12. 27.

Video Surveillance and Tracking Methods참고 문헌 5인용 수 65

한 줄 요약

본 논문은 고품질 인물 재식별(ReID) 특징으로 안내되는 간단한 계층적 클러스터링이 DukeMTMC에서 다중 대상, 다중 카메라 추적을 강하게 달성할 수 있음을 보여주며, 탐지, 재식별 특징, 단일 카메라 추적, 거리 행렬 업데이트 없이 계층적 클러스터링을 결합한다.

ABSTRACT

Although many methods perform well in single camera tracking, multi-camera tracking remains a challenging problem with less attention. DukeMTMC is a large-scale, well-annotated multi-camera tracking benchmark which makes great progress in this field. This report is dedicated to briefly introduce our method on DukeMTMC and show that simple hierarchical clustering with well-trained person re-identification features can get good results on this dataset.

연구 동기 및 목표

• DukeMTMC 벤치마크에서 다중 대상, 다중 카메라 추적(MTMC)의 동기 부여 및 평가.
• 트랙렛과 궤적의 계층적 클러스터링에 기반한 간단하고 확장 가능한 MTMC 접근법을 제안한다.
• 고품질 재식별 특징이 강력한 MTMC 성능을 가능하게 함을 보여준다.
• MTMC 성능에 대한 private 대 public 탐지 및 재랭킹의 영향을 평가한다.

제안 방법

• Faster R-CNN과 신뢰도/IoU 임계값 파이프라인으로 사람을 탐지한다.
• 다수의 공개 데이터셋에서 학습된 사람 재식별 모델(AlignedReID 스타일)로 외모 특징을 추출한다.
• Kuhn–Munkres 데이터 연관을 통해 인접 프레임 탐지를 트랙렛으로 병합하여 근근 온라인에 가까운 단일 카메라 추적을 수행하고, 각 카메라 내에서 트랙렛을 계층적으로 클러스터링해 궤적을 생성한다.
• 궤적의 재식별 특징을 궤적 간 평균으로 계산하고 거리 행렬에 재랭킹을 적용한 뒤, 거리 행렬 업데이트 없이 카메라 간 궤적을 계층적으로 클러스터링하여 병합한다.
• 교차 카메라 병합을 정제하기 위해 간단한 시간적 및 교차 카메라 제약(예: 최대 1분 간격, 동시 출현 제한)을 적용한다.

실험 결과

연구 질문

• RQ1 강력한 재식별 특징을 가진 계층적 클러스터링이 DukeMTMC에서 경쟁력 있는 MTMC 성능을 달성할 수 있는가?
• RQ2 Private 대 public 탐지와 재랭킹이 MTMC 성능에 어떤 영향을 미치는가?
• RQ3 단일 카메라 추적 품질이 다운스트림 다중 카메라 연계에 미치는 영향은 무엇인가?
• RQ4 확장성을 해치지 않으면서 교차 카메라 궤적 병합을 개선하는 실용적 제약은 무엇인가?

주요 결과

• 공개 탐지로 구성된 쉬운 테스트 세트에서 MTMC_ReIDp는 IDF1 74.4, IDP 84.4, IDR 66.4를 달성한다.
• 개인 탐지로 구성된 쉬운 테스트 세트에서 MTMC_ReID는 IDF1 83.2, IDP 85.2, IDR 81.2를 달성한다.
• 공개 탐지로 구성된 어려운 테스트 세트에서 MTMC_ReID는 IDF1 74.0, IDP 81.4, IDR 67.8을 달성한다(DeepCC 68.5/75.9/62.4와 비교).
• 개인 탐지로 구성된 어려운 테스트 세트에서 MTMC_ReID는 IDF1 74.0, IDP 81.4, IDR 67.8을 달성한다(DeepCC 68.5/75.9/62.4).
• 재식별 거리 행렬의 재랭킹이 학습/검증에서 약 2–3포인트의 IDF1 향상을 제공한다.
• 전반적으로 강력한 재식별 특징을 갖춘 간단한 계층적 클러스터링 프레임워크가 구 configurations 전반에서 최첨단 결과를 달성한다.