[논문 리뷰] Real-time 3D Deep Multi-Camera Tracking

Quanzeng You, Hao Jiang|arXiv (Cornell University)|2020. 03. 26.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 15

한 줄 요약

이 논문은 시각적 왜곡을 고려한 딥 그라운드포인트 네트워크, 융합된 지면 점유도 히트맵, 탐지에 위한 딥 글립스 네트워크, 그리고 온라인 트래커를 활용한 엔드 투 엔드 실시간 3D 다중카메라 트래킹 시스템인 딥 멀티카메라 트래킹(Deep Multi-Camera Tracking, DMCT)을 제안한다. 이 방법은 WILDTRACK 및 두 개의 신규로 수집된 데이터셋에서 최신 기술 수준의 트래킹 성능를 달성하며, 이전의 오프라인 방법을 능가하면서도 8대의 카메라에서 15 FPS의 실시간 추론을 유지한다.

ABSTRACT

Tracking a crowd in 3D using multiple RGB cameras is a challenging task. Most previous multi-camera tracking algorithms are designed for offline setting and have high computational complexity. Robust real-time multi-camera 3D tracking is still an unsolved problem. In this work, we propose a novel end-to-end tracking pipeline, Deep Multi-Camera Tracking (DMCT), which achieves reliable real-time multi-camera people tracking. Our DMCT consists of 1) a fast and novel perspective-aware Deep GroudPoint Network, 2) a fusion procedure for ground-plane occupancy heatmap estimation, 3) a novel Deep Glimpse Network for person detection and 4) a fast and accurate online tracker. Our design fully unleashes the power of deep neural network to estimate the "ground point" of each person in each color image, which can be optimized to run efficiently and robustly. Our fusion procedure, glimpse network and tracker merge the results from different views, find people candidates using multiple video frames and then track people on the fused heatmap. Our system achieves the state-of-the-art tracking results while maintaining real-time performance. Apart from evaluation on the challenging WILDTRACK dataset, we also collect two more tracking datasets with high-quality labels from two different environments and camera settings. Our experimental results confirm that our proposed real-time pipeline gives superior results to previous approaches.

연구 동기 및 목표

• 혼잡하고 가림이 많은 환경에서 실시간으로 정확한 3D 다중카메라 사람 트래킹을 해결하기 위해.
• 이전의 다중카메라 트래킹 방법들이 가지는 높은 계산 복잡도와 오프라인 처리 성향을 극복하기 위해.
• 실시간으로 여러 카메라 시야 간에 정체성 일관성을 유지하는 완전한 엔드 투 엔드 파이프라인을 개발하기 위해.
• 기준점으로 사용하기 위한 두 개의 새로운 고품질 다중카메라 트래킹 데이터셋을 수집하고 공개하기 위해.
• 기존 데이터셋의 노이즈가 있거나 약한 감독 레이블을 활용해 실제 환경에 쉽게 구현할 수 있도록 하기 위해.

제안 방법

• 시야 각각에서 사람의 질량 중심의 2D 투영을 가상의 지면 평면에 추정하는 시각적 왜곡을 고려한 딥 그라운드포인트 네트워크를 사용한다.
• 모든 카메라에서 유도된 지면 점유도 히트맵을 기하학적 제약 조건과 카메라 캘리브레이션을 활용해 공유된 3D 지면 점유도 맵으로 융합한다.
• 시계열 순서의 융합된 점유도 맵을 감지하기 위해 구간 레이어와 시간적 컨볼루션을 사용하는 새로운 경량 딥 글립스 네트워크를 설계하여 움직이는 사람을 강력하게 탐지한다.
• 융합된 히트맵을 기반으로 효율적인 온라인 트래커가 프레임 간 사람 탐지 결과를 연결하여 일관된 궤적을 유지한다.
• 전체 파이프라인이 엔드 투 엔드로 훈련되고 배포되어 최소한의 지연 시간으로 실시간 추론이 가능하다.
• Crow드Human에서 유도된 가짜 진실 레이블을 사용해 훈련함으로써, 실제 네트워크 카메라 환경에 잘 일반화됨을 입증했다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 시스템이 혼잡한 환경에서 높은 정확도와 강력한 성능을 유지하면서 실시간으로 엔드 투 엔드 3D 다중카메라 사람 트래킹을 달성할 수 있는가?
• RQ2 시각적 왜곡을 고려한 지면 점위치 추정이 여러 카메라 시야 간 트래킹 일관성을 향상시키는 데 얼마나 효과적인가?
• RQ3 경량이며 시간적 모델링 기능을 가진 네트워크(딥 글립스)가 융합된 점유도 맵에서 표준 탐지기보다 실시간 트래킹에서 뛰어난 성능을 낼 수 있는가?
• RQ4 다중 시야의 지면 점위치 히트맵 융합이 단일 시야 또는 비기하학적 융합 방법에 비해 트래킹 성능 향상에 얼마나 기여하는가?
• RQ5 약한 감독 레이블을 사용해 훈련된 모델이 최소한의 미세조정으로 실제 환경에 배포될 때 잘 일반화되는가?

주요 결과

• WILDTRACK 데이터셋에서 DMCT는 MOTA 93.4%와 IDF1 85.3%를 달성하여 이전의 모든 오프라인 방법을 능가한다.
• Env 1에서 색상 히스토GRAM을 사용하지 않은 경우, DMCT는 MOTA 93.2%와 IDF1 80.9%를 기록했으며, YOLO(75.6% MOTA)와 ResNet(82.9% MOTA)를 크게 앞서 간다.
• 배경이 혼잡하고 학습 샘플 수가 적은 더 도전적인 Env 2에서는 DMCT가 MOTA 97.1%와 IDF1 90.4%를 기록했으며, YOLO(−67.4% MOTA)와 FCN7(13.4% MOTA)를 크게 능가한다.
• 단일 GeForce RTX 2080 Ti를 사용해 8대의 카메라에서 15 FPS로 시스템이 실행되어 실시간 성능을 입증한다.
• CrowdHuman에서 유도된 가짜 레이블로 훈련된 모델이 실제 네트워크 카메라 환경에 잘 일반화되어 재훈련 없이도 정확한 트래킹을 수행한다.
• 제안된 파이프라인이 최신 기술 수준의 성능를 달성하면서도 실제 응용에 쉽게 구현 가능함을 입증하였으며, 3대의 네트워크 카메라로 구성된 실시간 시스템을 통해 검증되었다.