[논문 리뷰] CityFlow-NL: Tracking and Retrieval of Vehicles at City Scale by Natural Language Descriptions

Qi Feng, Vitaly Ablavsky외 1명|arXiv (Cornell University)|2021. 01. 12.

Human Mobility and Location-Based Analysis참고 문헌 39인용 수 27

한 줄 요약

CityFlow-NL은 자연어 설명이 포함된 도시 규모의 다중 목표 다중 카메라 추적 벤치마크를 도입하고, 검색 및 추적 기준선과 새로운 원샷 NL 인식 추적기(VTN)를 제공합니다.

ABSTRACT

Natural Language (NL) descriptions can be one of the most convenient or the only way to interact with systems built to understand and detect city scale traffic patterns and vehicle-related events. In this paper, we extend the widely adopted CityFlow Benchmark with NL descriptions for vehicle targets and introduce the CityFlow-NL Benchmark. The CityFlow-NL contains more than 5,000 unique and precise NL descriptions of vehicle targets, making it the first multi-target multi-camera tracking with NL descriptions dataset to our knowledge. Moreover, the dataset facilitates research at the intersection of multi-object tracking, retrieval by NL descriptions, and temporal localization of events. In this paper, we focus on two foundational tasks: the Vehicle Retrieval by NL task and the Vehicle Tracking by NL task, which take advantage of the proposed CityFlow-NL benchmark and provide a strong basis for future research on the multi-target multi-camera tracking by NL description task.

연구 동기 및 목표

• MTMC 추적, NL로 검색, 시점 이벤트 위치화를 가능하게 하려면 차량 대상에 대한 자연어 설명으로 CityFlow를 확장한다.
• NL 설명에 의한 차량 검색 및 NL 설명에 의한 차량 추적의 두 가지 기본 작업을 정의하고 평가한다.
• NL 기반 MTMC 연구를 위한 기반선과 전용 NL-가이드 추적 모델을 제공한다.

제안 방법

• CityFlow-NL을 40대 교정 카메라에 걸쳐 5,289개의 NL 설명으로 666대 대상 차량에 주석을 추가하여 생성한다.
• 두 가지 작업을 제안한다: NL 설명에 의한 차량 검색(단일 뷰) 및 NL 설명에 의한 차량 추적(다중 프레임 위치 추정).
• NL 질의(BERT)와 차량 크롭(ResNet-50)을 임베딩하여 검색 유사도를 계산하는 기준선 시맨스 모델을 개발한다.
• 추적 프레임워크로 확장: 다중 객체 추적기를 이용한 먼저 추적한 후 검색하는 베이스라인 접근법; 위치 인식과 현존 여부 분기를 갖춘 Vehicle Tracking Network(VTN)를 도입한다.
• 엔드 투 엔드 NL-가이드 추적을 위한 Faster-RCNN 기반의 위치 인식 파이프라인에 NL-RoI 헤드와 NL 유사성 학습을 도입한다.
• 검색 성능 지표로는 Retrieval의 MRR, Recall@K를, 추적 성능은 IoU 임계값에 따른 성공(AUC)과 정규화된 정밀도(Normalized Precision)를 평가한다.

실험 결과

연구 질문

• RQ1 NL 설명이 단일 뷰 영상에서 올바른 차량 트랙을 얼마나 잘 검색할 수 있는가?
• RQ2 NL 설명이 다중 뷰 영상에서 타깃의 시공간 위치를 지원할 수 있는가?
• RQ3 NL 가이드 엔드투엔드 추적기(VTN)가 도시 규모의 MTMC 상황에서 트랙-다음-검색 기반 기준선을 능가하는가?

주요 결과

• CityFlow-NL은 NL 설명으로 주석된 최초의 MTMC-by-NL 데이터셋이며 NL 설명 수로 가장 큰 NL 주석 추적 벤치마크이다(666대 대상에 걸친 5,289개의 NL 설명).
• 기준선 검색의 성능은 제한적이다(MRR ≈ 0.027, Recall@5 ≈ 0.026, Recall@10 ≈ 0.049, Recall@25 ≈ 0.111).
• VTN(Vehicle Tracking Network)은 테스트 분할에서 AUC 5.93, 정규화된 정밀도 3.79로 눈에 띄는 개선을 이끌며 트랙-다음-검색 기준선보다 우수했다.
• VLN NL 기반 RoI 위치 인식 및 NL 기반 현존도 점수화는 단일 GPU에서 초당 약 20 프레임 수준의 온라인 엔드투엔드 NL-가이드 추적을 가능하게 한다.
• VTN은 탐지 중 조기 NL 검색으로 인해 더 높은 재현율을 보이나 대조되는 대상이 있는 장면에서 거짓 양성이 더 많아질 수 있다.