[논문 리뷰] Learning Driving Models with a Surround-View Camera System and a Route Planner.

Simon Hecker, Dengxin Dai외 1명|arXiv (Cornell University)|2018. 03. 27.

Video Surveillance and Tracking Methods참고 문헌 68인용 수 12

한 줄 요약

이 논문은 주변 시야 카메라 데이터와 경로 계획기 정보(OpenStreetMap 및 TomTom Maps에서 제공)를 통합하여 주행 정책 학습을 향상시키는 주행 모델을 제안한다. 원형 영상과 계획된 경로(가장자리 좌표 스택 또는 렌더링된 영상 시퀀스로 표현)를 활용함으로써 단일 전방 카메라 방식에 비해 실패율을 크게 감소시키며, 다중 모odal 인식과 경로 인식 기반 계획이 주행의 강건성을 향상시킨다는 것을 입증한다.

ABSTRACT

For people, having a rear-view mirror and side-view mirrors is vital for safe driving. They deliver a better view of what happens around the car. Human drivers also heavily exploit their mental map for navigation. Nonetheless, several methods have been published that learn driving models with only a front-facing camera and without a route planner. This lack of information renders the self-driving task quite intractable. Hence, we investigate the problem with a more realistic setting, which consists of a surround-view camera system with eight cameras, a route planner, and a CAN bus reader. In particular, we develop a sensor setup that provides data for a 360-degree view of the area surrounding the vehicle, the driving route to the destination, and the low-level driving maneuvers (e.g. steering angle and speed) by human drivers. With such sensor setup we collect a new driving dataset, covering diverse driving scenarios and varying weather/illumination conditions. Finally, we learn a novel driving model by integrating information from the surround-view cameras and the route planner. Two route planners are exploited: one based on OpenStreetMap and the other on TomTom Maps. The route planners are exploited in two ways: 1) by representing the planned routes as a stack of GPS coordinates, and 2) by rendering the planned routes on a map and recording the progression into a video. Our experiments show that: 1) 360-degree surround-view cameras help avoid failures made with a single front-view camera for the driving task; and 2) a route planner helps the driving task significantly. We acknowledge that our method is not the best-ever driving model, but that is not our focus. Rather, it provides a strong basis for further academic research, especially on driving relevant tasks by integrating information from street-view images and the planned driving routes. Code and data will be made available.

연구 동기 및 목표

• 단일 전방 카메라 자율주행 시스템의 한계를 보완하기 위해 360도 시각적 인식과 경로 계획을 통합하는 것.
• 8대의 주변 카메라, CAN 버스 데이터, 경로 계획기를 조합한 종합적인 센서 설정을 개발하여 현실적인 주행 데이터 수집을 위한 것.
• 경로 계획기 출력물(가장자리 좌표 및 지ap 렌더링 영상)이 주행 정책 학습에 어떻게 기여하는지 탐구하는 것.
• 다양한 날씨 및 조명 조건에서 수집된 새로운 다각도 주행 데이터셋을 구축하여 학술 연구를 위한 것.
• 시각 정보와 경로 계획 정보를 통합하는 자율주행 분야의 향후 연구를 위한 강력한 베이스라인을 확립하는 것.

제안 방법

• 8대의 카메라를 활용해 차량 주변을 360도로 촬영하는 주변 시야 카메라 시스템을 구축한다.
• OpenStreetMap 및 TomTom Maps를 활용해 목적지의 계획된 경로를 생성하는 경로 계획기를 통합한다.
• 계획된 경로를 두 가지 형태로 표현한다: 가장자리 좌표 스택과 지도 진행 상황의 영상 시퀀스.
• CAN 버스를 통해 인간 운전사의 저수준 조작(조향 각도, 속도 등) 데이터를 수집한다.
• 주변 시야 영상에서 추출한 시각적 특징과 경로 계획기 입력을 융합하여 주행 동작을 예측하는 주행 모델을 학습한다.
• 가장자리 기반 경로 시퀀스와 영상 기반 지도 진행 상황을 입력 모odal로 활용하여 경로 계획기 통합 효과를 평가한다.

실험 결과

연구 질문

• RQ1 360도 주변 시야 카메라 시스템은 단일 전방 카메라 대비 주행 실패율을 감소시키는가?
• RQ2 경로 계획기 정보를 통합함으로써 학습된 주행 정책의 성능은 어떻게 향상되는가?
• RQ3 경로 정보의 표현 방식 중 가장자리 좌표 스택과 렌더링된 지도 영상 중 어느 것이 더 높은 주행 정책 성능을 낳는가?
• RQ4 다중 모달 입력(카메라 + 경로 계획기)은 다양한 주행 조건에서 얼마나 강건성을 향상시키는가?
• RQ5 제안된 시스템은 단순히 전방 카메라에 의존하는 이전 방법과 비교해 어떻게 다를까?

주요 결과

• 360도 주변 시야 카메라 시스템은 단일 전방 카메라 시스템 대비 복잡한 주행 상황에서 실패율을 크게 감소시킨다.
• 경로 계획기 정보를 통합함으로써 주행 정책 성능에 상당한 향상이 이루어지며, 이는 주행 탐색에 있어 그 가치를 입증한다.
• 가장자리 좌표 스택과 렌더링된 지도 영상 양쪽 모두 주행 정책 학습에 기여하지만, 본 논문은 양자의 상대적 효과를 정량적으로 평가하지는 않는다.
• 풍부한 시각적 정보와 경로 정보 덕분에 제안된 시스템은 다양한 주행 조건(다양한 날씨 및 조명 조건 포함)에서도 일반화 성능을 보인다.
• 데이터셋과 코드가 공개되어 자율주행 분야에서 통합된 시각 및 경로 계획 접근법에 대한 향후 학술 연구를 지원한다.
• 성능 면에서 최신 기술 수준은 아니지만, 본 방법은 향후 연구를 위한 강력하고 실용적인 기반을 제공한다.