[논문 리뷰] Closing the gap towards end-to-end autonomous vehicle system

Yonatan Glassner, Liran Gispan외 2명|arXiv (Cornell University)|2019. 01. 01.

Autonomous Vehicle Technology and Safety참고 문헌 25인용 수 6

한 줄 요약

이 논문은 직접 제어 명령어를 예측하는 대신 주행 경로를 예측하는 엔드 투 엔드 자율주행 시스템을 제안한다. 이는 해석 가능성, 안전성, 희귀 사건에 대한 강건성을 향상시킨다. 다중 모달 행동을 모델링하기 위해 가우시안 믹스처 모델 손실(GMM loss)과 어려운 케이스를 우선시하기 위해 조건부가치위험(CVaR) 손실을 조합함으로써, 고속도로 시뮬레이션에서 충돌이 전혀 발생하지 않는 결과를 달성하였다. 이는 안전하고 데이터 효율적이며 해석 가능한 엔드 투 엔드 학습을 위한 실용적인 길을 제시한다.

ABSTRACT

Designing a driving policy for autonomous vehicles is a difficult task. Recent studies suggested an end-toend (E2E) training of a policy to predict car actuators directly from raw sensory inputs. It is appealing due to the ease of labeled data collection and since handcrafted features are avoided. Explicit drawbacks such as interpretability, safety enforcement and learning efficiency limit the practical application of the approach. In this paper, we amend the basic E2E architecture to address these shortcomings, while retaining the power of end-to-end learning. A key element in our proposed architecture is formulation of the learning problem as learning of trajectory. We also apply a Gaussian mixture model loss to contend with multi-modal data, and adopt a finance risk measure, conditional value at risk, to emphasize rare events. We analyze the effect of each concept and present driving performance in a highway scenario in the TORCS simulator. Video is available in this link: https://www.youtube.com/watch?v=1JYNBZNOe_4

연구 동기 및 목표

• 엔드 투 엔드(E2E) 자율주행의 해석 가능성, 안전성, 학습 효율성 문제를 해결하기 위해.
• 전문가 지도 데이터에 잘 반영되지 않은 희귀하지만 중요한 주행 시나리오(예: 커브, 추월)에서의 성능 향상을 위해.
• 직접 액추에이터 제어 예측에서 경로 예측으로 전환함으로써 더 안전하고 해석 가능한 주행 정책을 가능하게 하기 위해.
• E2E 학습의 데이터 효율성과 특징 학습의 이점을 유지하면서도 안전성 및 주행 경로 제약 조건을 통합한 시스템 아키텍처를 개발하기 위해.
• E2E 학습이 복잡한 실제 세계 유사 시뮬레이션 환경에서 높은 안전성 성능(충돌 없음)을 달성할 수 있음을 입증하기 위해.

제안 방법

• 직접 제어 명령어 회귀가 아닌 주행 경로 예측으로 E2E 학습 문제를 재정의함으로써, 더 나은 해석 가능성과 안전성 검증이 가능해진다.
• 연속적인 출력 공간에서 다중 모달 주행 결정(예: 추월 대비 차선 유지를 유지)을 모델링하기 위해 가우시안 믹스처 모델(GMM) 손실을 사용한다.
• 특히 희귀 사건(예: 커브, 급정지 등)과 같은 어려운 케이스에 최적화하기 위해 조건부가치위험(CVaR) 손실을 적용한다.
• 시스템의 해석 가능성 향상과 충돌률 감소를 위해 주행 결정에 대한 신뢰도를 예측하는 보조적인 약속도 헤드(affordance head)를 도입한다.
• 감지 기반으로 잔차 신경망(ResNet-34)을 사용하고, 예측된 경로에서 저수준 액추에이터 제어를 생성하기 위해 LQR 제어기를 활용한다.
• 표준 평균제곱오차 손실과 CVaR 기반 손실의 조합을 사용하여 모델을 훈련하며, 다양한 고난이도 시나리오를 우선순위로 배치하는 데이터 샘플링 전략을 적용한다.

실험 결과

연구 질문

• RQ1 직접 액추에이터 예측 대비 경로 기반 E2E 학습이 자율주행의 해석 가능성과 안전성 향상에 기여하는가?
• RQ2 추월 대비 차선 유지 등의 다중 모달 주행 행동이 엔드 투 엔드 학습 프레임워크 내에서 효과적으로 모델링될 수 있는가?
• RQ3 CVaR 기반 손실 함수가 예측되지 않은 중요한 주행 이벤트(예: 급커브, 비상 정지)에 대해 학습 효율성과 강건성을 향상시킬 수 있는가?
• RQ4 보조 supervision(예: 약속도 예측)이 E2E 자율주행에서 충돌 회피 능력과 시스템의 해석 가능성에 얼마나 기여하는가?
• RQ5 명시적인 월드 상태 표현이나 모듈화된 구조 없이도 E2E 시스템이 복잡한 고속도로 시뮬레이션 환경에서 충돌 없이 작동할 수 있는가?

주요 결과

• 제안된 시스템은 TORCS 고속도로 시뮬레이터에서 100마일당 충돌이 전혀 발생하지 않아 기존 E2E 기반 방법에 비해 뚜렷한 개선을 보였다.
• CVaR 손실을 적용함으로써 충돌률이 100마일당 0.83에서 0으로 감소하여, 어려운 케이스에 대한 최적화에 효과적임을 입증했다.
• 약속도 예측을 추가함으로써 충돌률이 100마일당 12.7에서 0.83으로 감소하여, 결정의 신뢰도 향상과 안전성 향상에 기여함을 시사했다.
• GMM 손실 덕분에 네트워크는 표준 회귀 손실이 포착하지 못하는 다중 모달 행동(예: 추월 결정)을 모델링할 수 있었다.
• CVaR 손실 전략은 손실 분포의 오른쪽 끝(가장 어려운 90퍼센트 케이스)에서 성능 향상이 명확하게 나타나, 낮은 CVaR 지표로 확인되었다.
• 절단 분석을 통해 각 구성 요소인 경로 학습, GMM 손실, 약속도 예측, CVaR 손실이 누적적으로 충돌이 없는 결과를 도출하는 데 기여함을 확인했다.