[논문 리뷰] A Multimodal, Full-Surround Vehicular Testbed for Naturalistic Studies and Benchmarking: Design, Calibration and Deployment

Akshay Rangesh, Kevan Yuen외 4명|arXiv (Cornell University)|2017. 09. 21.

Autonomous Vehicle Technology and Safety참고 문헌 9인용 수 19

한 줄 요약

이 논문은 8대의 고해상도 RGB 카메라, 6대의 라이다, 5대의 레이더 및 인ert리얼 측정장치/위성항법장치(IMU/GPS) 시스템을 갖춘 완전히 도구화된 전방위 차량 테스트베드인 LISA-A를 제시한다. 이는 자율주행 연구를 위한 동기화된 다중 모odal 데이터 수집을 가능하게 하며, 자율주행에서 융합 기반 알고리즘을 평가하기 위한 기준으로 사용할 수 있는 실제 도로 환경에서 100시간 이상의 다양한 데이터를 제공한다. 테스트베드는 모든 모달리티 간에 고정밀 캘리브레이션과 동기화를 지원하여, 자율주행 알고리즘의 개발과 평가에 기여한다.

ABSTRACT

Recent progress in autonomous and semi-autonomous driving has been made possible in part through an assortment of sensors that provide the intelligent agent with an enhanced perception of its surroundings. It has been clear for quite some while now that for intelligent vehicles to function effectively in all situations and conditions, a fusion of different sensor technologies is essential. Consequently, the availability of synchronized multi-sensory data streams are necessary to promote the development of fusion based algorithms for low, mid and high level semantic tasks. In this paper, we provide a comprehensive description of LISA-A: our heavily sensorized, full-surround testbed capable of providing high quality data from a slew of synchronized and calibrated sensors such as cameras, LIDARs, radars, and the IMU/GPS. The vehicle has recorded over 100 hours of real world data for a very diverse set of weather, traffic and daylight conditions. All captured data is accurately calibrated and synchronized using timestamps, and stored safely in high performance servers mounted inside the vehicle itself. Details on the testbed instrumentation, sensor layout, sensor outputs, calibration and synchronization are described in this paper.

연구 동기 및 목표

• 실제 도로 주행 조건에서 자연주의적 데이터 수집을 위한 종합적이고 철저히 도구화된 테스트베드를 개발하기 위해.
• 카메라, 라이다, 레이더 및 GPS/IMU와 같은 다양한 센서 모달리티에서 동기화되고 校정된 데이터를 제공함으로써 다중 감지 융합 연구를 가능하게 하기 위해.
• 장기적인 행동 분석, 위험 추정 및 주행 계획 수립을 위해 장기적이고 고정밀 데이터 시퀀스를 캡처함으로써 지원하기 위해.
• 기존 데이터셋의 한계를 보완하기 위해 30 Hz에서 전방위 파노라마 이미징을 제공하며 최소한의 왜곡과 차단을 보장하기 위해.
• 유럽 또는 비미국 데이터셋과는 다를 바 있는 미국 도로 조건, 교통 패턴 및 인프라에 맞춰진 미국 전용 테스트베드를 제공하기 위해.

제안 방법

• 전방위 인식을 위한 8대의 RGB 카메라(1600×1200 해상도, 30 Hz), 6대의 라이다(ibeo LUX), 5대의 레이더(Delphi SRR2 및 ESR), 그리고 인ert리얼 측정장치/위성항법장치(IMU/GPS) 유닛을 토요타 애벌론 차량에 장착하였다.
• 8대의 카메라에서의 데이터 캡처 및 압축을 관리하기 위해 64비트 Ubuntu 14.04를 사용하는 고성능 서버 2대를 활용하였으며, RJ45 이더넷 연결을 통해 데이터를 전송하였다.
• 다단계 캘리브레이션 파이프라인을 구현: 카메라 좌표계 내에서 체커보드 검출, 라이다 포인트 클라우드 대응, 공면 조건 기반 변환 추정.
• 평면 공면성 조건을 적용한 최소 제곱 최적화를 통해 카메라 및 라이다 좌표계 간의 회전 및 이동을 추정하였다.
• 비선형 오차 최소화를 통해 초기 추정치를 최적화하여 센서 간 정렬을 정밀하게 보정하였다.
• 현장 내 고성능 서버에 저장된 타임스탬프 기반 데이터 스트림을 활용해 모든 센서 간 정확한 시간 동기화를 달성하였다.

실험 결과

연구 질문

• RQ1 실제 도로 환경에 통합된 전방위 다중 모달 센서 유닛이 자연주의적 주행 연구를 효과적으로 지원하기 위해 어떻게 설계될 수 있는가?
• RQ2 고해상도 카메라, 희소 라이다 및 기타 활성 센서 간 정확한 공간 정렬을 보장하기 위한 캘리브레이션 방법론은 무엇인가?
• RQ3 다양한 센서에서 얻은 동기화된 장기 데이터 스트림이 융합 기반 주행 인식 및 계획 알고리즘 개발에 얼마나 기여할 수 있는가?
• RQ4 고프레임레이트 카메라와 다수의 라이다를 갖춘 미국 기반 전방위 테스트베드가 기존 데이터셋에 비해 장기적인 행동 분석 및 위험 평가 지원에 얼마나 효과적인가?
• RQ5 안전한 자율주행 차량 시스템 개발을 위한 시뮬레이션 또는 단기 시퀀스 데이터셋에 비해 실제 도로 환경의 다중 감지 테스트베드는 어떤 이점을 제공하는가?

주요 결과

• LISA-A 테스트베드는 다양한 날씨, 교통 및 일조 조건에서 실제 도로 주행 데이터를 100시간 이상 성공적으로 캡처하였다.
• 공면 체커보드 조건과 비선형 최적화를 활용한 캘리브레이션 방법이 카메라 및 라이다 좌표계 간 정확한 정렬을 달성하였다.
• 라이다 포인트가 모든 8개 카메라 시야에 효과적으로 투영되어 수평 평면에서 풍부한 세부 정보를 제공하였으며, 수직 해상도 손실이 최소화되었다.
• 8대의 분산된 카메라를 사용해 30 Hz에서 전방위 파노라마 이미징을 제공함으로써 단일 장착식 파노라마 시스템 대비 차단 및 왜곡을 최소화하였다.
• 행동 모니터링, 위험 추정 및 주행 분석에 필수적인 장기적이고 다중 모달 데이터 시퀀스를 지원함으로써, 단기 시퀀스 데이터셋이 제약을 초래하는 작업들을 보완하였다.
• 실제 도로에서 다중 타깃 추적 및 융합 기반 탐지가 직접 가능해져 가짜 경고를 감소시키고 물체 탐지 범위 및 정확도를 향상시켰다.