[논문 리뷰] EU Long-term Dataset with Multiple Sensors for Autonomous Driving

Zhi Yan, Li Sun외 2명|arXiv (Cornell University)|2019. 09. 07.

Robotics and Sensor-Based Localization참고 문헌 28인용 수 10

한 줄 요약

이 논문은 프랑스 UTBM의 인프라가 갖춰진 차량에서 수집한 장기적이고 다중 센서 데이터셋을 제시한다. 이 데이터셋은 ROS를 이용해 동기화 및 처리되는 11종의 이종 센서(다수의 카메라, 라이다, 레이더, 자이로스코프, GPS-RTK 포함)를 통합하고 있으며, 익명화된 이미지와 함께 공개되어 있다. 이 데이터셋은 계절적, 일일적, 동적 도시 및 근교 환경 변화를 포함하여 장기적 자율주행 연구, 특히 지속적 맵핑 및 평생 학습에 기여한다.

ABSTRACT

The field of autonomous driving has grown tremendously over the past few years, along with the rapid progress in sensor technology. One of the major purposes of using sensors is to provide environment perception for vehicle understanding, learning and reasoning, and ultimately interacting with the environment. In this paper, we first introduce a multisensor platform allowing vehicle to perceive its surroundings and locate itself in a more efficient and accurate way. The platform integrates eleven heterogeneous sensors including various cameras and lidars, a radar, an IMU (Inertial Measurement Unit), and a GPS-RTK (Global Positioning System / Real-Time Kinematic), while exploits a ROS (Robot Operating System) based software to process the sensory data. Then, we present a new dataset (https://epan-utbm.github.io/utbm_robocar_dataset/) for autonomous driving captured many new research challenges (e.g. highly dynamic environment), and especially for long-term autonomy (e.g. creating and maintaining maps), collected with our instrumented vehicle, publicly available to the community.

연구 동기 및 목표

• 자율주행 연구를 위해 계절적, 일일적, 동적 환경 변화를 장기적으로 캡처하는 다중 센서 데이터셋의 부족을 보완하기 위해.
• KITTI(단일 세션, 계절 변화 없음) 및 옥스포드(3D 라이다 없음)와 같은 기존 데이터셋의 한계를 극복하여, 전체 센서 커버리지와 함께 종합적인 장기 데이터셋을 제공하기 위해.
• 실제 환경 변화를 캡처함으로써 장기적 자율성 연구, 예를 들어 지속적 맵핑, 온라인 학습, 장기 예측 등에 기여하기 위해.
• 정확한 정위치 평가를 위한 지상 진실 GPS-RTK 트래잭터리가 포함된 완전 校정된 약간 동기화된 데이터셋을 제공하기 위해.
• EU GDPR 준수를 위해 얼굴 및 번호판을 익명화하는 딥러닝 기반 기법을 적용하여 데이터 프라이버시를 확보하기 위해.

제안 방법

• 4대의 카메라, 2대의 3D 라이다(벨로시티), 1대의 2D 라이다, 1대의 레이더, 1대의 자이로스코프, 1대의 GPS-RTK 수신기로 구성된 다중 센서 플랫폼을 구축하였다.
• ROS(Robot Operating System)를 사용하여 데이터 수집, 동기화(대부분 소프트웨어 수준, 두 대의 3D 라이다는 위성 신호를 통한 하드웨어 수준) 및 실시간 처리를 관리하였다.
• 모든 센서를 통합 校정 프레임워크를 사용하여 다중 모odal 간 공간적·시간적 일致성을 확보하였다.
• 장기간에 걸쳐 도시 및 근교 환경에서 데이터를 기록하여 계절적, 조도적, 교통 동적 변화를 캡처하였다.
• 공개 레포지토리를 활용한 딥러닝 기반 이미지 익명화 기법을 적용하여 카메라 데이터의 얼굴과 번호판을 흐리게 처리하여 GDPR 준수를 확보하였다.
• 지상 진실 트래잭터리가 포함된 ROS bag 형식으로 데이터셋을 공개하여 라이다 오도메트리 및 정위치 방법의 벤치마킹을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 다양한 실제 주행 환경에서 견고한 장기적 인식 및 정위치를 지원하기 위해 다중 센서 플랫폼을 어떻게 설계할 수 있는가?
• RQ2 일致된 校정 및 동기화를 유지하는 장기적 다중 센서 데이터셋을 수집하고 관리하는 데 있어 핵심 과제는 무엇인가?
• RQ3 계절적 변화와 동적 변화를 포함한 장기적 데이터셋이 자율주행에서 평생 학습 및 온라인 학습 방법의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 단일 센서 또는 스테레오만으로 구성된 시스템에 비해 다수의 라이다와 카메라를 통합함으로써 인식의 강성과 맹점 감소에 어떤 기여를 하는가?
• RQ5 대규모 자율주행 차량 데이터셋 배포 시 데이터 프라이버시 준수(예: GDPR)의 실질적 영향은 무엇인가?

주요 결과

• 이 데이터셋은 도시 및 근교 환경에서 총 190.9km의 주행 데이터를 캡처하였으며, 계절적·일일적 변화를 포함한 완전한 센서 커버리지가 이루어졌다.
• 플랫폼은 높은 수준의 센서 동기화를 달성하였으며, 두 대의 3D 라이다는 위성 신호를 통한 하드웨어 수준 동기화를, 나머지 센서들은 소프트웨어 수준 동기화를 구현하였다.
• GPS-RTK에서 제공하는 지상 진실 트래잭터리는 정위치 및 오도메트리 알고리즘의 정확한 평가를 가능하게 하였다.
• 딥러닝 기반 익명화 기법을 활용한 결과, 모든 카메라 이미지에서 얼굴과 번호판이 성공적으로 흐릿하게 처리되어 EU GDPR 준수를 확보하였다.
• 최신 라이다 오도메트리 방법의 벤치마킹을 지원하며, 평가를 위한 기준 성능 결과도 제공하였다.
• KITTI, 옥스포드, nuScenes와 같은 기존 데이터셋과 비교해 볼 때, 이 데이터셋은 풍부한 이종 센서 데이터와 프라이버시 보호 기능을 갖춘 장기적 시간적 커버리지를 유일하게 통합하고 있다.