[논문 리뷰] Multiple-Kernel Based Vehicle Tracking Using 3D Deformable Model and Camera Self-Calibration

Zheng Tang, Gaoang Wang외 6명|arXiv (Cornell University)|2017. 08. 22.

Video Surveillance and Tracking Methods참고 문헌 17인용 수 23

한 줄 요약

이 논문은 도시 교통 감시에서의 가림을 해결하기 위해 3D 유연 모델과 자가 캘리브레이션 카메라를 사용한 다중 커널 기반 차량 추적 시스템을 제안한다. 보행자들이 걷는 것으로부터 유도된 자가 캘리브레이션 카메라 파ameters와 함께 형태 적합도, 색상 및 적응형 커널 피드백을 통합함으로써, 상태 기반의 검출 및 분할 기반 접근법보다 우수한 성능을 보이며 AI City 챌린지 데이터셋에서 다중 객체 추적을 강력하게 수행한다.

ABSTRACT

Tracking of multiple objects is an important application in AI City geared towards solving salient problems related to safety and congestion in an urban environment. Frequent occlusion in traffic surveillance has been a major problem in this research field. In this challenge, we propose a model-based vehicle localization method, which builds a kernel at each patch of the 3D deformable vehicle model and associates them with constraints in 3D space. The proposed method utilizes shape fitness evaluation besides color information to track vehicle objects robustly and efficiently. To build 3D car models in a fully unsupervised manner, we also implement evolutionary camera self-calibration from tracking of walking humans to automatically compute camera parameters. Additionally, the segmented foreground masks which are crucial to 3D modeling and camera self-calibration are adaptively refined by multiple-kernel feedback from tracking. For object detection/classification, the state-of-the-art single shot multibox detector (SSD) is adopted to train and test on the NVIDIA AI City Dataset. To improve the accuracy on categories with only few objects, like bus, bicycle and motorcycle, we also employ the pretrained model from YOLO9000 with multi-scale testing. We combine the results from SSD and YOLO9000 based on ensemble learning. Experiments show that our proposed tracking system outperforms both state-of-the-art of tracking by segmentation and tracking by detection.

연구 동기 및 목표

• 도시 교통 감시에서 자주 발생하는 다중 차량 추적의 가림 문제를 해결하기 위해.
• 추적된 보행자들을 기반으로 한 진화적 카메라 자가 캘리브레이션을 이용해 완전히 비지도적 3D 자동차 모델을 구축하기 위해.
• 3D 유연 모델 프레임워크 내에서 색상 정보와 형태 적합도 평가를 융합하여 추적의 견고성을 향상시키기 위해.
• 추적 과정에서 유도된 다중 커널 피드백을 통해 배경 마스크를 적응적으로 개선하여 3D 모델링 및 캘리브레이션 향상시키기 위해.
• 앙상블 학습을 통해 SSD 및 YOLO9000 검출 결과를 융합하여 열악한 차량 유형(예: 버스, 오토바이)에 대한 성능 향상 달성하기 위해.

제안 방법

• 표면 패치 각각에 커널을 갖춘 3D 유연 차량 모델을 구축하여 局소 특징 매칭 및 형태 기반 제약 조건을 가능하게 한다.
• 가림 및 외관 변화 상황에서도 추적의 견고성을 향상시키기 위해 형태 적합도 평가와 색상 특징을 함께 사용한다.
• 장면 내 보행자 이동 경로에 진화적 최적화를 적용하여 카메라 파ameters를 자가 캘리브레이션한다.
• 추적 과정에서 유도된 다중 커널 피드백을 통해 전경 마스크를 적응적으로 개선하여 3D 모델 품질 및 캘리브레이션 정확도를 향상시킨다.
• 다중 해상도 테스트와 앙상블 학습을 통해 SSD 및 YOLO9000을 융합하여 희귀 클래스(버스, 오토바이 등)의 검출 성능 향상시킨다.
• 3D 모델 제약 조건, 커널 피드백, 캘리브레이션된 카메라 기하학을 통합하여 추적 및 재구성 과정을 공동 최적화한다.

실험 결과

연구 질문

• RQ1 패치 단위 커널을 갖춘 3D 유연 모델은 2D 또는 강성 모델 대비 가림 상황에서 추적의 견고성을 향상시키는가?
• RQ2 감시 환경에서 보행자 이동 경로만을 사용하여 카메라 파ameters를 자가 캘리브레이션하는 데 얼마나 효과적인가?
• RQ3 복잡한 도시 환경에서 형태 적합도와 색상 정보를 융합할 경우 추적 정확도 향상 정도는 어느 정도인가?
• RQ4 추적 과정에서 유도된 적응형 커널 피드백은 3D 모델링 및 캘리브레이션을 위한 전경 마스크 품질 향상에 기여하는가?
• RQ5 SSD와 YOLO9000 간의 앙상블 학습이 희귀 차량 유형에 대한 검출 및 추적 성능 향상에 뚜렷한 기여를 하는가?

주요 결과

• 제안된 추적 시스템은 2017 IEEE Smart World NVIDIA AI City 챌린지 트랙 2: 응용 분야에서 최고 성능을 기록하였다.
• 형태 적합도와 색상 특징의 융합은 특히 부분적 가림 상황에서 추적의 견고성을 크게 향상시켰다.
• 보행자 이동 경로에서 유도된 자가 캘리브레이션을 통해 사전 캘리브레이션 데이터 없이도 정확한 카메라 파ameters 추정이 가능했다.
• 적응형 커널 피드백은 전경 마스크 품질 향상에 기여하여 보다 정확한 3D 모델 구축 및 캘리브레이션을 가능케 하였다.
• SSD와 YOLO9000의 앙상블 검출 기법은 버스, 오토바이와 같은 저빈도 차량 유형의 인식 성능 향상에 기여하였다.
• 기준 데이터셋에서 최신 추적-검출 및 추적-분할 기반 방법들을 모두 압도하는 성능을 달성하였다.