[논문 리뷰] Exploring OpenStreetMap Availability for Driving Environment Understanding

Yang Zheng, Izzat H. Izzat외 1명|arXiv (Cornell University)|2019. 03. 11.

Remote Sensing and LiDAR Applications참고 문헌 22인용 수 8

한 줄 요약

이 논문은 자동주행 주행 환경 이해를 위해 OpenStreetMap (OSM) 데이터를 활용하여 Bi-RNN를 사용해 조향 각도 신호를 기반으로 주행 이벤트를 인식하고, 시각/라이adar 데이터와 OSM 기반 도로 마스크를 융합하여 의미 분할을 수행한다. OSM이 딥러닝을 통한 자율주행에 실용적임을 입증하며, 차선 유지 및 전환 탐지 정확도를 높이고, 다중 소스 융합을 통해 주행 가능한 공간 인식을 향상시킨다.

ABSTRACT

With the great achievement of artificial intelligence, vehicle technologies have advanced significantly from human centric driving towards fully automated driving. An intelligent vehicle should be able to understand the driver's perception of the environment as well as controlling behavior of the vehicle. Since high digital map information has been available to provide rich environmental context about static roads, buildings and traffic infrastructures, it would be worthwhile to explore map data capability for driving task understanding. Alternative to commercial used maps, the OpenStreetMap (OSM) data is a free open dataset, which makes it unique for the exploration research. This study is focused on two tasks that leverage OSM for driving environment understanding. First, driving scenario attributes are retrieved from OSM elements, which are combined with vehicle dynamic signals for the driving event recognition. Utilizing steering angle changes and based on a Bi-directional Recurrent Neural Network (Bi-RNN), a driving sequence is segmented and classified as lane-keeping, lane-change-left, lane-change-right, turn-left, and turn-right events. Second, for autonomous driving perception, OSM data can be used to render virtual street views, represented as prior knowledge to fuse with vision/laser systems for road semantic segmentation. Five different types of road masks are generated from OSM, images, and Lidar points, and fused to characterize the drivable space at the driver's perspective. An alternative data-driven approach is based on a Fully Convolutional Network (FCN), OSM availability for deep learning methods are discussed to reveal potential usage on compensating street view images and automatic road semantic annotation.

연구 동기 및 목표

• 상용 지도의 무료이고 오픈소스 대체재로서 OpenStreetMap (OSM) 가 주행 환경 이해에 얼마나 유용한지 조사하기 위해.
• 차량 동역학 신호와 결합한 OSM 속성을 활용해 차선 변경 및 전환과 같은 주행 이벤트를 인식하는 방법을 개발하기 위해.
• 시각 및 LiDar 데이터와 융합하기 위한 전처리 도로 마스크를 생성함으로써 OSM의 역할이 도로 의미 분할 향상에 어떻게 기여하는지 탐색하기 위해.
• OSM의 딥러닝 응용 가능성, 특히 누락된 스트리트 뷰 이미지 보완 및 자동 도로 어노테이션 기능을 통한 평가를 위해.

제안 방법

• 주행 이벤트 인식은 조향 각도 변화를 기반으로 훈련된 양방향 순환 신경망 (Bi-RNN)을 사용하여 5개의 카테고리로 분류한다: 차선 유지, 왼쪽 차선 변경, 오른쪽 차선 변경, 왼쪽 전환, 오른쪽 전환.
• 도로 유형, 차선 수, 전환 제한과 같은 OSM 요소를 추출하여 주행 시나리오 속성과 이벤트 인식을 위한 맥락을 풍부하게 한다.
• OSM, RGB 이미지, LiDar 포인트 클라우드에서 유래한 5종류의 도로 마스크를 생성하고, 이들을 융합하여 운전사 시점에서의 주행 가능한 공간을 표현한다.
• 완전 컨volution 네트워크 (FCN) 를 사용하여 OSM 데이터가 딥러닝에서 의미 분할 및 데이터 증강에 얼마나 효과적인지 평가한다.
• 실시간 센서 데이터(카메라 및 LiDar)와 OSM의 사전 지식을 융합하여 도로 인식의 강건성을 향상시킨다.
• OSM 데이터를 활용해 합성 스트리트 뷰를 생성하고, 도로 의미 어노테이션을 자동화하여 높은 비용이 드는 수동 레이블링 의존도를 줄인다.

실험 결과

연구 질문

• RQ1 차량 동역학과 OSM 속성을 결합하여 조향 각도 데이터만으로도 차선 변경 및 전환과 같은 주행 이벤트를 효과적으로 인식할 수 있는가?
• RQ2 시각 및 LiDar 데이터와 융합할 때 OSM에서 유도된 도로 마스크는 주행 가능한 영역의 의미 분할을 어떻게 향상시킬 수 있는가?
• RQ3 OSM 데이터는 누락되거나 불완전한 스트리트 뷰 데이터를 보완함으로써 딥러닝 모델에 얼마나 기여할 수 있는가?
• RQ4 복잡한 도시 환경에서 OSM를 사용해 도로 의미 분할 정확도를 향상시키기 위한 사전 지식를 생성할 수 있는가?
• RQ5 OSM는 자율주행 시스템에서 도로 환경의 자동 데이터 기반 어노테이션을 가능하게 하는 잠재력을 얼마나 지니고 있는가?

주요 결과

• Bi-RNN 모델은 고해상도 지도 없이도 조향 각도 데이터와 OSM에서 유도된 속성만으로 주행 이벤트를 정확하게 분류하는 데 성공하여, 이벤트 인식의 실현 가능성을 입증했다.
• 카메라 및 LiDar 데이터와 OSM에서 생성한 도로 마스크를 융합함으로써 주행 가능한 공간의 특성 분석이 크게 향상되어 인식의 강건성이 향상되었다.
• 의미 분할 모델에 OSM의 사전 지식을 통합함으로써 다양한 도시 환경에서 일관되고 정확한 도로 경계 탐지가 가능해졌다.
• OSM 데이터는 누락되거나 저품질의 스트리트 뷰 이미지를 보완하는 데 효과적이었으며, 딥러닝 파이프라인의 데이터 증강에 기여했다.
• 이 연구는 OSM가 고비용 수동 레이블링에 의존도를 줄이기 위해 실용적인 자동 도로 의미 어노테이션 소스로 기능할 수 있음을 확인했다.