[논문 리뷰] The ParallelEye Dataset: Constructing Large-Scale Artificial Scenes for Traffic Vision Research

Xuan Li, Kunfeng Wang외 3명|arXiv (Cornell University)|2017. 12. 22.

Remote Sensing and LiDAR Applications참고 문헌 22인용 수 9

한 줄 요약

이 논문은 스트리트 맵 데이터, 컴퓨터 그래픽스, 규칙 기반 모델링을 활용하여 유니티3D에서 생성한 대규모, 사진처럼 사실적인 가상의 도시 교통 환경인 ParallelEye 데이터셋을 제안한다. 이 파이프라인은 정밀하고 다양한 데이터를 통제된 조명 및 기상 조건에서 자동으로 고해상도의 세분화, 인스턴스 세분화, 경계 상자, 추적, 광학 흐름, 깊이 등 다양한 레이블을 생성할 수 있으며, 표준 워크스테이션에서 8~12 fps 렌더링 성능을 달성한다.

ABSTRACT

Video image datasets are playing an essential role in design and evaluation of traffic vision algorithms. Nevertheless, a longstanding inconvenience concerning image datasets is that manually collecting and annotating large-scale diversified datasets from real scenes is time-consuming and prone to error. For that virtual datasets have begun to function as a proxy of real datasets. In this paper, we propose to construct large-scale artificial scenes for traffic vision research and generate a new virtual dataset called "ParallelEye". First of all, the street map data is used to build 3D scene model of Zhongguancun Area, Beijing. Then, the computer graphics, virtual reality, and rule modeling technologies are utilized to synthesize large-scale, realistic virtual urban traffic scenes, in which the fidelity and geography match the real world well. Furthermore, the Unity3D platform is used to render the artificial scenes and generate accurate ground-truth labels, e.g., semantic/instance segmentation, object bounding box, object tracking, optical flow, and depth. The environmental conditions in artificial scenes can be controlled completely. As a result, we present a viable implementation pipeline for constructing large-scale artificial scenes for traffic vision research. The experimental results demonstrate that this pipeline is able to generate photorealistic virtual datasets with low modeling time and high accuracy labeling.

연구 동기 및 목표

• 실세계 교통 시각 데이터셋에서 수동 애너테이션의 높은 비용과 일관성 부족 문제를 해결하기 위해.
• 실세계 지형과 시각적 정밀도를 충족하는 대규모, 현실적인 가상의 도시 환경을 생성하기 위한 확장 가능한 파이프라인 개발을 위해.
• 합성 환경에서 다중 작업 전용 레이블(예: 경계 상자, 세분화, 추적 등)에 대한 자동화, 정확하고 다양한 애너테이션을 가능하게 하기 위해.
• 다양한 환경 조건에서 교통 시각 알고리즘의 훈련 및 평가를 위한 재현 가능하고 제어 가능한 환경을 제공하기 위해.
• 실세계 데이터 수집 및 애너테이션에 대한 의존도를 줄이기 위해 높은 다양성과 정밀도를 갖춘 대체 데이터셋을 제공하기 위해.

제안 방법

• 정확한 지리적 레이아웃을 갖춘 베이징 중관순 지역의 3D 모델을 실제 스트리트 맵 데이터를 활용해 구축한다.
• 컴퓨터 그래픽스 및 가상현실 기법을 적용하여 유니티3D에서 사진처럼 사실적인 도시 교통 환경를 렌더링한다.
• 차량, 보행자 및 동적인 환경 조건을 시뮬레이션하기 위해 규칙 기반 모델링을 구현한다.
• 다양한 시야를 캡처하기 위해 위치, 높이, 방향 및 동작 프로파일을 조정할 수 있는 가상 카메라(차량 내장형 및 감시용)를 구성한다.
• 일광, 아침, 저녁 조명 조건과 맑음, 흐림, 비, dense 안개 등의 기상 조건을 동적으로 변경하여 데이터 다양성을 증가시킨다.
• 유니티3D의 렌더링 파이프라인을 활용해 세분화/인스턴스 세분화, 객체 경계 상자, 추적, 광학 흐름, 깊이 등 정밀한 진짜값 레이블을 자동으로 생성한다.

실험 결과

연구 질문

• RQ1 실세계 조건과 높은 지리적 정확도와 시각적 정밀도를 갖춘 합성 대규모 도시 교통 환경를 구축할 수 있는가?
• RQ2 합성 환경에서 다중 작업 진짜값 애너테이션(예: 세분화, 경계 상자, 추적 등)을 신뢰성 있게 자동 생성할 수 있는가?
• RQ3 조절 가능한 환경 변화(조명, 기상)가 실세계 데이터 수집 없이 데이터 다양성을 얼마나 향상시킬 수 있는가?
• RQ4 사진처럼 사실적인 레이블이 부여된 가상 데이터셋을 생성하기 위한 파이프라인의 효율성과 확장성은 어떠한가?
• RQ5 최종적으로 생성된 합성 데이터셋이 복잡한 도시 환경에서의 시각 모델 훈련 및 평가를 효과적으로 지원할 수 있는가?

주요 결과

• ParallelEye 데이터셋은 세분화, 인스턴스 세분화, 경계 상자, 추적, 광학 흐름, 깊이 등 여러 작업에 대해 완전히 자동화되고 정확한 애너테이션을 포함한 총 31,000장의 이미지 프레임을 포함한다.
• 데이터셋 생성 파이프라인이 표준 워크스테이션에서 8~12 프레임/초의 속도로 작동하여 대규모 데이터 합성에 효율적이다.
• 조명 및 기상 조건을 동적으로 변경하여 재수집이나 재애너테이션 없이 다양한 시나리오의 환경 변화를 생성할 수 있다.
• 가상 환경는 높은 시각적 정밀도와 지리적 정확도를 달성하여 실제 도시 레이아웃과 외관에 매우 가깝게 재현된다.
• 파이프라인은 차량 내장형 및 감시 카메라 시점 모두를 시뮬레이션할 수 있도록 유연한 카메라 설정(위치, 높이, 방향)을 지원한다.
• 이 데이터셋은 전용 웹사이트를 통해 공개되어 향후 교통 시각 연구 및 모델 일반화 연구를 지원한다.