[논문 리뷰] End-to-end driving simulation via angle branched network

Qing Wang, Long Chen외 1명|arXiv (Cornell University)|2018. 05. 19.

Autonomous Vehicle Technology and Safety참고 문헌 19인용 수 10

한 줄 요약

이 논문은 새로운 네비게이션 명령어인 서브골 각도(subgoal angle)와 역할 브랜치 네트워크 아키텍처를 사용한 엔드 투 엔드 주행 시뮬레이션 프레임워크를 제안한다. 이미지, 깊이, 세그멘테이션 입력을 브랜치 모델과 통합하여 서브골 각도로 특징을 라우팅함으로써, 이 방법은 CARLA 도심 시뮬레이션에서 94%의 성공률과 99.0%의 정상 주행 비율을 달성하며, 기준 모델 대비 차량 및 보행자와의 충돌을 크게 감소시킨다.

ABSTRACT

Imitation learning for end-to-end autonomous driving has drawn attention from academic communities. Current methods either only use images as the input which is ambiguous when a car approaches an intersection, or use additional command information to navigate the vehicle but not automated enough. Focusing on making the vehicle drive along the given path, we propose a new navigation command that does not require human's participation and a novel model architecture called angle branched network. Both the new navigation command and the angle branched network are easy to understand and effective. Besides, we find that not only segmentation information but also depth information can boost the performance of the driving model. We conduct experiments in a 3D urban simulator and both qualitative and quantitative evaluation results show the effectiveness of our model.

연구 동기 및 목표

• 교차로에 접근할 때 이미지 전용 입력이 회전 결정을 구분하지 못하는 모호함을 해결하기 위해.
• 사람이 제공한 명령어 없이도 자율적이고 해석 가능하며 경로 따라가기 위해 효과적인 네비게이션 명령어를 개발하기 위해.
• 네비게이션 명령어를 사용해 특징 처리를 유도하고 주행 정책의 강건성을 향상시키기 위해 새로운 브랜치형 신경망 아키텍처를 설계하기 위해.
• 깊이 및 세그멘테이션 정보가 충돌 감소 및 전체 주행 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 차량의 현재 위치와 경로상의 이산적 점(서브골 포인트)에서 계산된 새로운 네비게이션 명령어인 서브골 각도를 도입하여 조향 결정을 안내한다.
• 서브골 각도가 입력 특징을 처리하는 네트워크의 어떤 브랜치를 선택할지 결정하는 각도 브랜치 네트워크를 설계함으로써, 네비게이션 의도에 기반한 조건부 특징 학습을 가능하게 한다.
• 엔드 투 엔드 정책 네트워크를 훈련하기 위해 전면 카메라, 속도 및 추가 입력(RGB, 깊이, 세그멘테이션)을 관측치로 사용한다.
• CARLA 시뮬레이터에서 수집한 전문가 시뮬레이션 데이터를 기반으로 애니메이션 학습(imitation learning)을 사용해 모델을 훈련시키며, 출력은 조향 각도와 이진 타이머 제어이다.
• 깊이 이미지를 [0,12]로 정규화하여 다른 입력과 수치 스케일을 일치시키고 훈련 안정성을 향상시킨다.
• 성능 평가를 위해 성공률, 정상 주행 비율, 충돌 지표(보행자, 차량, 기타 물체)를 사용한다.

실험 결과

연구 질문

• RQ1 서브골 각도 네비게이션 명령어는 고수준 명령어 전용 또는 이미지 전용 기준 모델 대비 엔드 투 엔드 주행 성능을 향상시키는가?
• RQ2 서브골 각도로 특징 라우팅을 수행하는 브랜치형 네트워크 아키텍처는 더 나은 일반화와 낮은 충돌률을 이끌어내는가?
• RQ3 깊이 및 세그멘테이션 정보를 통합할 경우, 보행자 및 차량과 같은 동적 장애물과의 충돌은 어느 정도 감소하는가?
• RQ4 서브골 각도와 다중 모odal 입력(RGB, 깊이, 세그멘테이션)의 조합은 도심 시뮬레이션에서 성공률과 정상 주행 비율에 어떤 영향을 미치는가?

주요 결과

• 각도 브랜치(rgbd) 모델은 94%의 최고 성공률과 99.0%의 정상 주행 비율을 기록하여 모든 다른 모델보다 두 지표에서 뛰어난 성능을 보였다.
• 각도 입력(rgbs) 모델은 92%의 성공률과 99.5%의 정상 주행 비율을 기록하여 기준 모델(54% 성공률)보다 뚜렷이 뛰어났다.
• 깊이 정보를 통합함으로써 충돌률이 감소했다: 각도 입력(rgbd) 모델은 차량과의 충돌이 1km당 0.30건, 보행자와의 충돌이 0.41건이었고, 각도 입력(rgbs) 모델은 각각 1.04건과 0.62건이었다.
• 약간 더 높은 손실 값이 있었음에도 불구하고, 각도 브랜치(rgbd) 모델은 각도 입력(rgbd) 모델보다 더 뛰어난 강건성과 낮은 충돌률을 보였으며, 이는 더 나은 일반화 능력을 의미한다.
• 기준 모델의 실패 케이스는 주로 잘못된 조향 예측에서 기인했고, 각도 입력(rgbs) 모델의 실패 케이스는 주로 펌프 제어 예측 오류에서 기인했다. 이는 서브골 각도가 조향 예측에 유리한 영향을 미친다는 것을 시사한다.
• 깊이 정보는 차량 및 보행자와의 충돌을 크게 감소시켰으며, 이는 실생활 안전에서의 핵심적 역할을 함을 입증한다. 일부 설정에서는 정상 주행 비율이 약간 감소했지만, 이는 깊이 정보의 중요성을 감안할 때 수용 가능한 대가이다.