[논문 리뷰] LIDAR-based Driving Path Generation Using Fully Convolutional Neural Networks

Luca Caltagirone, Mauro Bellone외 2명|arXiv (Cornell University)|2017. 03. 27.

Autonomous Vehicle Technology and Safety참고 문헌 10인용 수 9

한 줄 요약

이 논문은 LIDAR 포인트 클라우드, GPS-IMU 데이터, 주행 방향을 융합하여 주행 경로를 생성하는 완전 컨volution 신경망(FCN)을 제안한다. 이는 수동 레이블링이 필요 없이 주행 가능한 경로를 엔드 투 엔드로 학습할 수 있도록 한다. 모델은 관심 영역 40×40 m에서 MaxF 점수 92.60%를 기록하여 해석 가능하고 차량 제어 출력에 가까운 강건한 경로 예측 성능을 입증한다.

ABSTRACT

In this work, a novel learning-based approach has been developed to generate driving paths by integrating LIDAR point clouds, GPS-IMU information, and Google driving directions. The system is based on a fully convolutional neural network that jointly learns to carry out perception and path generation from real-world driving sequences and that is trained using automatically generated training examples. Several combinations of input data were tested in order to assess the performance gain provided by specific information modalities. The fully convolutional neural network trained using all the available sensors together with driving directions achieved the best MaxF score of 88.13% when considering a region of interest of 60x60 meters. By considering a smaller region of interest, the agreement between predicted paths and ground-truth increased to 92.60%. The positive results obtained in this work indicate that the proposed system may help fill the gap between low-level scene parsing and behavior-reflex approaches by generating outputs that are close to vehicle control and at the same time human-interpretable.

연구 동기 및 목표

• 수동 레이블링이 필요 없는 실세계 센서 데이터에서 주행 경로를 생성하는 학습 기반 시스템을 개발하는 것.
• 저수준 인식과 고수준 제어 사이의 격차를 메우기 위해 해석 가능하고 차량 제어에 적합한 출력을 생성하는 것.
• LIDAR, GPS-IMU, 주행 방향 데이터로부터 자동으로 생성된 훈련 예제를 사용하여 엔드 투 엔드 훈련을 가능하게 하는 것.
• 특히 주행 의도가 경로 예측 정확도에 미치는 영향을 평가하는 것.
• 성능을 유지하면서도 인식과 제어를 분리하여 모듈성을 유지하는 것.

제안 방법

• 시스템은 다중 모odal 입력인 LIDAR 포인트 클라우드, GPS-IMU 궤적, 주행 방향 데이터를 처리하기 위해 완전 컨볼루션 신경망(FCN)을 사용한다.
• GPS-IMU 및 주행 방향 데이터는 LIDAR 포인트 클라우드 표현과 직접 융합할 수 있도록 공간적 특징 맵으로 변환된다.
• LIDAR 포인트 클라우드는 반사도와 고도를 반영한 강도 값이 포함된 2차원 점유 격자 표현으로 변환된다.
• FCN은 자동차 기준 프레임에서 향후 차량 위치의 확률 맵을 예측하여 주행 가능한 경로를 나타낸다.
• GPS 로그와 주행 방향 데이터로부터 자동으로 생성된 지도를 사용하여 엔드 투 엔드로 훈련된다.
• 주변 영역, 특히 가림되거나 포인트 밀도가 낮은 영역의 맥락을 활용하여 경로 예측의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 LIDAR, GPS-IMU, 주행 방향 데이터의 융합이 주행 경로 예측 정확도에 미치는 영향은 무엇인가?
• RQ2 주행 의도를 통합할 경우 경로 생성의 강건성과 정확도는 어느 정도 향상되는가?
• RQ3 완전 컨볼루션 신경망은 수동 레이블링 없이도 해석 가능하고 제어 관련 경로를 학습할 수 있는가?
• RQ4 관심 영역의 크기가 경로 예측 시스템 성능에 미치는 영향은 무엇인가?
• RQ5 주변 맥락 정보를 활용하여 교차로나 가림 영역과 같은 복잡한 시나리오에 일반화할 수 있는가?

주요 결과

• LIDAR, GPS-IMU, 주행 방향 데이터를 모두 사용해 훈련한 FCN은 관심 영역 60×60 m에서 최고의 MaxF 점수 88.13%를 기록했다.
• 관심 영역을 40×40 m로 축소했을 때 MaxF 점수는 92.60%로 향상되어 더 작고 집중된 영역에서 더 높은 정밀도를 보였다.
• 주행 의도 정보의 통합은 교차로에서 다른 모델이 불확실하거나 잘못된 출력을 내는 상황에서 경로 예측 정확도를 크게 향상시켰다.
• 가림 영역에서도 주변 LIDAR 데이터와 IMU 정보로부터 유도된 맥락적 단서를 활용하여 모델은 강건성을 확보했다.
• 평균 추론 시간은 0.033초(약 30 Hz)였으며, 자율주행 응용 분야에서 실시간 적용 가능성을 입증했다.
• 직선 경로 예측 및 IMU 전용 모델과 같은 베이스라인을 초월하여, 최고 성능을 보인 구성(Lidar-IMU-INT)은 40×40 m 테스트 세트에서 93.44% 정밀도와 91.77% 재현율을 기록했다.