[논문 리뷰] Deep Learning and Control Algorithms of Direct Perception for Autonomous Driving

Der‐Hau Lee, Kuan-Lin Chen외 3명|arXiv (Cornell University)|2019. 10. 26.

Autonomous Vehicle Technology and Safety참고 문헌 28인용 수 5

한 줄 요약

이 논문은 단일 영상에서 주행 가능성을 추정하는 직접 인지 프레임워크를 제안한다. 이 프레임워크는 미세조정된 CNNs(AlexNet 및 GoogLeNet)를 사용하여 단일 영상에서 주행 방향 각도, 앞선 차량까지의 거리, 도로 중심선까지의 거리를 회귀한다. 시스템은 이 예측 결과를 TORCS 시뮬레이터 내의 제어 루프에서 근거리 센서 데이터와 통합하여, 이전 방법들에 비해 훈련 효율성과 주행 안정성이 향상된 결과를 얻었다.

ABSTRACT

Based on the direct perception paradigm of autonomous driving, we investigate and modify the CNNs (convolutional neural networks) AlexNet and GoogLeNet that map an input image to few perception indicators (heading angle, distances to preceding cars, and distance to road centerline) for estimating driving affordances in highway traffic. We also design a controller with these indicators and the short-range sensor information of TORCS (the open racing car simulator) for driving simulated cars to avoid collisions. We collect a set of images from a TORCS camera in various driving scenarios, train these CNNs using the dataset, test them in unseen traffics, and find that they perform better than earlier algorithms and controllers in terms of training efficiency and driving stability. Source code and data are available on our website.

연구 동기 및 목표

• 자기 주행 제어를 위한 원시 영상에서 행동 가능한 주행 지표로의 매핑을 가능하게 하는 직접 인지 시스템을 개발한다.
• 모의 고속도로 환경에서 훈련 효율성과 주행 안정성을 향상시킨다.
• 학습된 인지 출력을 실시간 센서 데이터와 통합하여 강건한 제어를 구현한다.
• 학습 데이터에 포함되지 않은 새로운 교통 상황에서 프레임워크의 성능을 평가하여 일반화 능력을 점검한다.
• 재현 가능성과 향후 연구를 위해 오픈소스 코드와 데이터셋을 제공한다.

제안 방법

• 미리 훈련된 CNNs(AlexNet 및 GoogLeNet)를 사용하여 주행 방향 각도, 앞선 차량까지의 거리, 도로 중심선까지의 거리의 세 가지 주행 가능성을 단일 영상에서 회귀하도록 미세조정한다.
• 다양한 고속도로 주행 상황에서 TORCS 시뮬레이터를 통해 단일 영상의 다양한 데이터셋을 수집한다.
• 수집된 영상-인지 쌍에 대해 지도 학습을 통해 CNNs를 엔드 투 엔드로 훈련한다.
• TORCS의 근거리 센서 데이터(예: 라이다 또는 레이더 유사 입력)와 CNN이 예측한 인지 지표를 융합하는 제어기를 설계한다.
• 융합된 인지 정보를 사용하여 조향 및 가속도 명령을 생성하는 피드백 제어 루프를 구현한다.
• 학습 데이터에 포함되지 않은 새로운 교통 상황에서 시스템을 평가하여 내성 및 일반화 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 미세조정된 CNNs는 직접 인지 프레임워크에서 단일 영상에서 핵심 주행 가능성을 효과적으로 회귀할 수 있는가?
• RQ2 학습된 인지 정보를 실시간 센서 데이터와 융합함으로써 시뮬레이션 환경에서 제어 안정성이 어떻게 향상되는가?
• RQ3 제안된 시스템은 이전 방법들에 비해 더 높은 훈련 효율성과 주행 성능을 달성하는가?
• RQ4 학습 데이터에 존재하지 않는 새로운 교통 상황에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 직접 인지 접근법은 복잡한 중간 표현에 대한 의존도를 얼마나 줄일 수 있는가?

주요 결과

• 미세조정된 CNNs(AlexNet 및 GoogLeNet)는 단일 영상에서 주행 방향 각도, 앞선 차량까지의 거리, 도로 중심선까지의 거리를 높은 정확도로 성공적으로 회귀하였다.
• 이전의 직접 인지 방법들에 비해 훈련 수렴 속도가 빠르다는 점에서, 시스템은 훈련 효율성이 향상됨을 입증하였다.
• 다양한 교통 조건 하에서 TORCS 시뮬레이터에서 주행 안정성이 향상되었으며, 충돌 수가 줄고 궤적 추적도 더 부드러웠다.
• 학습 데이터에 포함되지 않은 새로운 교통 상황에서도 제어기가 강력한 성능을 보였으며, 이는 인지 네트워크의 뛰어난 일반화 능력을 시사한다.
• CNN 예측 결과와 근거리 센서 데이터의 융합은 제어의 신뢰성과 반응성 향상에 크게 기여하였다.
• 저자들은 데이터셋과 소스 코드를 공개하여 재현 가능성과 향후 벤치마크 작업을 가능하게 하였다.