[논문 리뷰] Virtual Worlds as Proxy for Multi-Object Tracking Analysis

Adrien Gaidon, Qiao Wang외 2명|arXiv (Cornell University)|2016. 05. 20.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 297

한 줄 요약

이 논문은 실 KITTI 시퀀스로부터 클론된 사진-실감 합성 데이터셋인 Virtual KITTI를 소개하여 멀티 객체 추적(MOT)에 대한 실-가상 전이 가능성을 연구하고 다양한 조건에서 학습과 평가를 위한 가상 데이터의 이점을 검토한다.

ABSTRACT

Modern computer vision algorithms typically require expensive data acquisition and accurate manual labeling. In this work, we instead leverage the recent progress in computer graphics to generate fully labeled, dynamic, and photo-realistic proxy virtual worlds. We propose an efficient real-to-virtual world cloning method, and validate our approach by building and publicly releasing a new video dataset, called Virtual KITTI (see http://www.xrce.xerox.com/Research-Development/Computer-Vision/Proxy-Virtual-Worlds), automatically labeled with accurate ground truth for object detection, tracking, scene and instance segmentation, depth, and optical flow. We provide quantitative experimental evidence suggesting that (i) modern deep learning algorithms pre-trained on real data behave similarly in real and virtual worlds, and (ii) pre-training on virtual data improves performance. As the gap between real and virtual worlds is small, virtual worlds enable measuring the impact of various weather and imaging conditions on recognition performance, all other things being equal. We show these factors may affect drastically otherwise high-performing deep models for tracking.

연구 동기 및 목표

• MOT 및 관련 작업을 위한 대규모로 다양하고 자동으로 레이블된 비디오 데이터셋을 가능하게 하기 위해 사진-realistic 합성 데이터의 사용을 촉진한다.
• 실 KITTI 시퀀스의 소수 시드(seed) 세트에서 가상 세계를 만드는 복제(cloning) 기반 파이프라인을 제안한다.
• 실세계에서 가상세계로의 관찰 전이가 어느 정도 잘 이루어지는지 정량화하고 MOT를 위한 가상 사전 학습의 가치를 보여준다.
• MOT에서 인식 성능에 통제된 연구를 가능하게 하는 날씨, 조명, 시점의 효과를 연구한다.
• 감지, 추적, 깊이, 분할, 그리고 광학 흐름에 대한 자동 정답을 갖춘 공개적으로 이용 가능한 Virtual KITTI 데이터셋을 제공한다.

제안 방법

• Unity 기반 파이프라인을 사용하여 실제 KITTI 시퀀스의 시드(seed)를 사진처럼 현실적인 가상 세계로 복제한다.
• GPU 셰이더와 렌더링 패스를 통해 밀집한 정답 주석(2D/3D 상자, 깊이, 분할, 광학 흐름)을 자동으로 생성한다.
• 스크립트 기반 수정(조명, 안개, 비, 카메라 포즈)을 통해 다양한 날씨 및 이미징 조건의 합성 비디오를 생성한다.
• 사전 학습된 탐지기와 최적화된 추적 하이퍼파라미터(Bayesian 최적화)를 사용하여 실제 비디오와 복제된 가상 비디오를 비교해 전이 가능성을 평가한다.
• Virtual KITTI 클론에서 학습하고 실제 KITTI에서 미세 조정하여 성능 향상을 측정하는 방식으로 가상 사전 학습을 평가한다.

실험 결과

연구 질문

• RQ1 실제 KITTI 데이터에서 가상 클론으로의 인식 성능 전이 가능성의 정도는 어느 정도인가?
• RQ2 가상 데이터 사전 학습이 실제 데이터만으로 학습하는 것보다 실제 세계의 MOT 성능을 향상시킬 수 있는가?
• RQ3 실제 맑은 날 데이터로 학습될 때 가상 세계의 날씨, 조명, 카메라 시점 변 variation이 MOT 성능에 어떤 영향을 미치는가?
• RQ4 가상 세계는 다양한 조건에서 MOT 시스템의 견고성을 연구할 수 있는 확장 가능하고 통제 가능한 수단을 제공하는가?

주요 결과

• 실-가상 전이는 평균적으로 MOT 지표에 대해 거의 손실이 없는 수준이다(MOTA 차이가 두 추적기에서 < 0.5%).
• 가상 사전 학습(가상 데이터에 의한 학습에 이어 실제 데이터로 미세 조정)은 MOT 성능을 향상시키며, 특히 DP-MCF 추적기에 대해 두드러진다.
• 날씨 및 이미징 변동(안개, 비, 야간 유사 조건)은 모델이 이상적인 맑은 실제 데이터로 학습되었을 때 MOT 성능을 크게 저하시켰으며, 특히 안개가 가장 큰 감소를 유발한다.
• Virtual KITTI의 지상참은 일관되게 생성되어 주석자 주관성을 줄이고 각 작업에 걸쳐 밀도 높은 픽셀 수준 레이블을 가능하게 한다.
• Virtual KITTI는 카메라 각도나 조명과 같은 요인을 체계적으로 분석할 수 있게 하여 실데이터에서는 비용이 많이 들 수 있는 조건을 통제된 상태로 연구할 수 있도록 한다.