[논문 리뷰] Project AutoVision: Localization and 3D Scene Perception for an Autonomous Vehicle with a Multi-Camera System

Lionel Heng, Benjamin Choi외 11명|arXiv (Cornell University)|2018. 09. 14.

Robotics and Sensor-Based Localization참고 문헌 26인용 수 12

한 줄 요약

Project AutoVision은 다중 볼록렌즈 카메라 구성을 사용하여 카메라만으로 자율주행차의 위치 추정 및 3D 환경 인식을 수행하는 시스템을 제시한다. 이 시스템은 실시간 시각-자이로스코픽 온도메트리, 지도화된 영역과 지도화되지 않은 영역 모두에서 위성 영상과 3D 지도를 활용한 GNSS 없는 위치 추정, 그리고 TSDF 융합을 통한 고밀도 3D 재구성 기능을 제공하며, 도심 환경에서 위치 오차 중앙값은 1.84m, 헤딩 오차 중앙값은 1.9°이다.

ABSTRACT

Project AutoVision aims to develop localization and 3D scene perception capabilities for a self-driving vehicle. Such capabilities will enable autonomous navigation in urban and rural environments, in day and night, and with cameras as the only exteroceptive sensors. The sensor suite employs many cameras for both 360-degree coverage and accurate multi-view stereo; the use of low-cost cameras keeps the cost of this sensor suite to a minimum. In addition, the project seeks to extend the operating envelope to include GNSS-less conditions which are typical for environments with tall buildings, foliage, and tunnels. Emphasis is placed on leveraging multi-view geometry and deep learning to enable the vehicle to localize and perceive in 3D space. This paper presents an overview of the project, and describes the sensor suite and current progress in the areas of calibration, localization, and perception.

연구 동기 및 목표

• 카메라만을 외부 감지 센서로 사용하여 자율주행차에서 견고한 시각적 위치 추정 및 3D 환경 인식을 가능하게 하기 위해.
• 지도화된 영역과 GNSS 의존 조건을 초월하여 도시, 농촌, 저조도 환경을 포함한 다양한 환경에서도 운영 범위를 확장하기 위해.
• 다중 시야 기하학과 딥러닝을 활용하여 실시간 시각-자이로스코픽 온도메트리, GNSS 없는 위치 추정, 고밀도 3D 지도 제작을 달성하기 위해.
• 자동 校정과 실시간 처리가 가능한 완전 통합 시스템을 개발하여 생산 차량 플랫폼에 구현하기 위해.

제안 방법

• 차량 옥상에 장착된 16대의 볼록렌즈 카메라(4대는 컬러, 12대는 NIR)로 구성된 다중 카메라 시스템이 360도 커버리지와 높은 수직 해상도를 제공한다.
• GPU 가속된 평면 스위핑 스테레오를 활용한 다중 카메라 구조를 사용하여 실시간 시각-자이로스코픽 온도메트리와 깊이 추정을 구현한다.
• 지도화되지 않은 영역에서의 GNSS 없는 위치 추정은 지도화된 위성 영상과 알려진 초기 자세를 기반으로 하며, 지도화된 영역에서는 사전 자세 정보 없이도 희소 3D 지도를 활용한다.
• 고밀도 3D 지도 제작은 평면 스위핑 스테레오로부터 유도된 깊이 영상의 截斷된 부호 거리 함수(TSDF) 융합을 통해 이루어지며, YOLOv3 기반 2D 객체 검출을 통한 동적 객체 제거 기능이 포함된다.
• 카메라, 자이로스코프, GNSS를 포함한 다중 센서 유닛의 자동 校정을 통해 정렬성과 정확성을 확보한다.
• 모든 모듈은 차량 플랫폼에서 15–20 Hz에서 실행되는 실시간 소프트웨어 스택에 통합되어 있다.

실험 결과

연구 질문

• RQ1 다중 카메라 시스템이 LiDAR나 GNSS 없이도 정확한 시각-자이로스코픽 온도메트리와 3D 환경 인식을 달성할 수 있는가?
• RQ2 카메라와 위성 영상만을 사용하여 지도화된 영역과 지도화되지 않은 영역 모두에서 GNSS 없는 위치 추정을 어떻게 달성할 수 있는가?
• RQ3 복잡한 도시 및 농촌 환경에서 볼록렌즈 카메라와 TSDF 융합을 활용한 실시간 고밀도 3D 지도 제작의 성능은 어떠한가?
• RQ4 2D 객체 검출이 3D 재구성 과정에서 지도 오류를 방지하기 위해 동적 객체를 효과적으로 식별하는 데 얼마나 유용한가?
• RQ5 완전히 카메라 기반의 시스템이 다양한 조도 및 환경 조건에서 견고한 위치 추정과 인식 성능을 유지를 할 수 있는가?

주요 결과

• 도심 환경에서 시스템은 위치 오차 중앙값 1.84m, 헤딩 오차 중앙값 1.9°를 기록하였으며, 평균 오차는 각각 3.31m와 2.6°였다.
• 농촌 환경에서는 위치 오차 중앙값 1.81m, 헤딩 오차 중앙값 3.3°를 기록하였으며, 평균 오차는 각각 3.48m와 4.2°였다.
• 평면 스위핑 스테레오 알고리즘은 전면 5대의 카메라에서 반형상 해상도로 15 Hz에서 실행되어, 왜곡 해제된 볼록렌즈 영상으로부터 실시간 깊이 추정을 가능하게 했다.
• 3D 지도 제작 파이프라인은 InfiniTAM 라이브러리를 사용하여 약 20 Hz에서 실행되었으며, 융합된 깊이 영상에서 고정밀도 TSDF 볼륨을 생성했다.
• 세밀하게 캘리브레이션된 YOLOv3 기반의 동적 객체 검출이 움직이는 객체를 효과적으로 마스킹하여 재구성된 3D 시나리오에서 지도 오류를 방지했다.
• NIR 카메라와 조명 장치를 활용하여 저조도 조건에서도 이미지 품질과 깊이 추정 정확도를 유지하면서 시스템이 성공적으로 작동했다.