[논문 리뷰] Providentia -- A Large-Scale Sensor System for the Assistance of Autonomous Vehicles and Its Evaluation

Annkathrin Krämmer, Christoph Schöller외 6명|arXiv (Cornell University)|2019. 06. 16.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 고속도로 교통의 실시간 고정확도 디지털 트윈을 생성하기 위해 다중 모odal 센서 네트워크를 사용하는 대규모 지능형 인프라 시스템인 Providentia를 제시한다. 이 시스템은 분산된 엣지 장치에서 레이더, 카메라, LiDAR의 데이터를 융합하여 일광 및 야간 조건 모두에서 높은 공간 정확도와 분류 정확도를 달성하며, 자율주행차의 차량 내 센서를 초월한 인식 능력을 검증된 디지털 트윈 통합을 통해 성공적으로 연장한다.

ABSTRACT

The environmental perception of an autonomous vehicle is limited by its physical sensor ranges and algorithmic performance, as well as by occlusions that degrade its understanding of an ongoing traffic situation. This not only poses a significant threat to safety and limits driving speeds, but it can also lead to inconvenient maneuvers. Intelligent Infrastructure Systems can help to alleviate these problems. An Intelligent Infrastructure System can fill in the gaps in a vehicle's perception and extend its field of view by providing additional detailed information about its surroundings, in the form of a digital model of the current traffic situation, i.e. a digital twin. However, detailed descriptions of such systems and working prototypes demonstrating their feasibility are scarce. In this paper, we propose a hardware and software architecture that enables such a reliable Intelligent Infrastructure System to be built. We have implemented this system in the real world and demonstrate its ability to create an accurate digital twin of an extended highway stretch, thus enhancing an autonomous vehicle's perception beyond the limits of its on-board sensors. Furthermore, we evaluate the accuracy and reliability of the digital twin by using aerial images and earth observation methods for generating ground truth data.

연구 동기 및 목표

• 자율주행차의 차량 내 센서의 한계, 예를 들어 가림 현상과 제한된 시야를 해결하기 위해 확장 가능한 인프라 기반 솔루션을 개발하기 위해.
• 정확한 교통 환경 디지털 트윈을 생성하는 신뢰성 있고 실시간 동작하는 지능형 인프라 시스템(IIS)을 설계하고 구현하기 위해.
• 지상 진술로 항공 영상 기반으로 시스템 정확도와 신뢰성을 평가하여 인지 성능 검증을 가능하게 하기 위해.
• 디지털 트윈을 자율주행차의 환경 모델에 통합하여 차량 내 센서의 한계를 초월한 인지 범위를 연장하기 위해.

제안 방법

• 고속도로 갱글에 레이더, 카메라, LiDAR를 포함한 다중 모달 센서 네트워크를 구축하여 광역 다각도 모니터링을 가능하게 하였다.
• 대역폭 감소 및 실시간 융합을 가능하게 하기 위해 센서 데이터의 분산 저지연 처리를 위한 엣지 컴퓨팅 노드를 구현하였다.
• 주 타이머를 기반으로 시간 동기화된 데이터 처리를 수행하는 중앙 집중식 소프트웨어 스택을 사용하여 센서 간 시간 일관성을 확보하였다.
• 각 도로 이용자의 위치, 속도, 차량 유형, 고유 식별자를 포함한 일관된 디지털 트윈을 생성하기 위해 고도의 탐지 및 데이터 융합 알고리즘을 적용하였다.
• 시스템 성능의 정량적 평가를 위해 항공 영상 및 지구 관측 기법을 활용하여 지상 진술을 생성하였다.
• 디지털 트윈을 자율주행차의 환경 모델에 통합하여 차량 내 센서의 한계를 초월한 인지 범위를 연장하였다.

실험 결과

연구 질문

• RQ1 지능형 인프라 시스템은 자율주행차의 차량 내 센서를 초월한 인지 범위를 어떻게 신뢰성 있게 연장할 수 있는가?
• RQ2 실생활 고속도로 조건에서 높은 공간 정확도와 분류 정확도를 달성하기 위해 필요한 센서 융합 및 캘리브레이션 기법은 무엇인가?
• RQ3 항공 영상과 원격 감지 기법을 사용하여 대규모 IIS 평가에 충분한 정밀도로 지상 진술을 확보할 수 있는 방법은 무엇인가?
• RQ4 IIS가 생성한 디지털 트윈은 자율주행차의 안전성 및 계획 능력을 어느 정도 향상시킬 수 있는가?
• RQ5 실제 배포를 위한 확장에 있어 주요 아키텍처 및 소프트웨어 과제는 무엇인가?

주요 결과

• Providentia 시스템은 일광 및 야간 조건 모두에서 높은 탐지율과 공간 정확도를 달성하여 다양한 조명 및 기상 조건에서도 뛰어난 내구성을 입증하였다.
• 시스템이 생성한 디지털 트윈은 높은 분류 정확도를 보였으며, 차량 유형을 정확히 식별하고 각 탐지된 차량에 고유 식별자를 할당하였다.
• 디지털 트윈을 자율주행차의 환경 모델에 통합함으로써 시스템이 차량 내 센서의 한계를 초월한 인지 범위를 성공적으로 연장하였다.
• 항공 영상 기반 지상 진술을 사용한 평가 결과 시스템의 신뢰성이 확인되었으며, 탐지된 교통 상태와 기준 상태 간 강한 일치도를 보였다.
• 시스템은 실시간 대규모 교통 모니터링의 가능성을 입증하였으며, 교통 정체 탐지, 잘못된 방향 주행자 식별, 차선 수준의 교통 관리 등 응용 분야를 지원할 수 있었다.
• 항공 영상 기반 평가 방법론은 지능형 인프라 시스템의 성능 평가에 일반화 가능한 프레임워크를 제공한다.