[논문 리뷰] Level 2 Autonomous Driving on a Single Device: Diving into the Devils of Openpilot

Li Chen, Tutian Tang외 7명|arXiv (Cornell University)|2022. 06. 16.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 단일 $999 기기에서 단일 단안 카메라로 작동하는 엔드 투 엔드 레벨 2 자율주행 시스템인 Comma.ai의 Openpilot를 역공학적으로 분석한다. OP-Deepdive로 불리는 슈퍼콤보 모델을 재구현하고 기존 모델과 이중 모델 구조로 함께 배포함으로써, 저비용 단일 기기 시스템이 공개 벤치마크와 실제 주행 테스트에서 원본 성능과 동등한 성능을 달성할 수 있음을 입증함으로써, 소비자용 레벨 2 자율주행에 대한 엔드 투 엔드 학습의 실현 가능성을 검증한다.

ABSTRACT

Equipped with a wide span of sensors, predominant autonomous driving solutions are becoming more modular-oriented for safe system design. Though these sensors have laid a solid foundation, most massive-production solutions up to date still fall into L2 phase. Among these, Comma.ai comes to our sight, claiming one $999 aftermarket device mounted with a single camera and board inside owns the ability to handle L2 scenarios. Together with open-sourced software of the entire system released by Comma.ai, the project is named Openpilot. Is it possible? If so, how is it made possible? With curiosity in mind, we deep-dive into Openpilot and conclude that its key to success is the end-to-end system design instead of a conventional modular framework. The model is briefed as Supercombo, and it can predict the ego vehicle's future trajectory and other road semantics on the fly from monocular input. Unfortunately, the training process and massive amount of data to make all these work are not publicly available. To achieve an intensive investigation, we try to reimplement the training details and test the pipeline on public benchmarks. The refactored network proposed in this work is referred to as OP-Deepdive. For a fair comparison of our version to the original Supercombo, we introduce a dual-model deployment scheme to test the driving performance in the real world. Experimental results on nuScenes, Comma2k19, CARLA, and in-house realistic scenarios verify that a low-cost device can indeed achieve most L2 functionalities and be on par with the original Supercombo model. In this report, we would like to share our latest findings, shed some light on the new perspective of end-to-end autonomous driving from an industrial product-level side, and potentially inspire the community to continue improving the performance. Our code, benchmarks are at https://github.com/OpenPerceptionX/Openpilot-Deepdive.

연구 동기 및 목표

• 단일 저비용 기기와 단일 단안 카메라만을 사용해 Comma.ai의 Openpilot가 어떻게 레벨 2 자율주행을 구현하는지 조사한다.
• 공개된 데이터셋(ν-Scenes, Comma2k19)과 내부 상하이 주행 데이터를 활용해 슈퍼콤보 엔드 투 엔드 모델을 처음부터 재현하고, 그 아키텍처와 학습 과정을 이해한다.
• 공개 벤치마크와 실제 주행 환경에서 재구현된 모델(OP-Deepdive)의 성능을 평가한다.
• 원본 슈퍼콤보 모델과 재구현된 OP-Deepdive 모델 간의 공정한 비교를 가능하게 하는 이중 모델 배포 기반 구조를 개발하고 검증한다.
• 감시 및 계획이 융합된 엔드 투 엔드 자율주행 모델의 디버깅, 모방 학습 평가 지표, 시스템 수준 통합 등에 대한 과제를 파악한다.

제안 방법

• 공개 데이터셋(ν-Scenes, Comma2k19)과 내부 상하이 주행 데이터를 활용해 OP-Deepdive로 슈퍼콤보 모델을 재현한다.
• 모방 학습을 사용해 OP-Deepdive를 훈련하고 평가하며, 궤적 예측에 대해 평균 유클리드 거리 오차와 평균 정밀도를 두 가지 평가 지표로 사용한다.
• Openpilot 시스템에 OP-Deepdive와 원본 슈퍼콤보 모델을 이중 모델 프레임워크로 배포하여 실제 주행 환경에서의 비교를 가능하게 한다.
• CARLA 시뮬레이터와 실제 차량에서 통제된 테스트를 수행해 동일한 조건에서 주행 성능을 평가한다.
• 단안 카메라 데이터를 보완하기 위해 WARP 메커니즘을 활용해 다양한 카메라 시점 효과를 시뮬레이션함으로써 훈련 중 일반화 능력을 향상시킨다.
• 재구현된 모델을 기존 Openpilot 소프트웨어 스택에 통합하여 모듈성과 시스템 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 단일 저비용 기기와 단일 단안 카메라만으로도 강력한 레벨 2 자율주행 성능을 달성할 수 있는가?
• RQ2 실제 주행 환경에서 Openpilot의 슈퍼콤보 모델의 엔드 투 엔드 설계 방식이 전통적인 모듈식 자율주행 아키텍처와 비교해 어떻게 다를까?
• RQ3 재구현된 슈퍼콤보 버전(OP-Deepdive)이 공개 벤치마크와 실제 주행 테스트에서 원본 모델의 성능을 어느 정도 재현할 수 있는가?
• RQ4 감시와 계획이 융합된 엔드 투 엔드 자율주행 모델을 디버깅하고 평가할 때 발생하는 주요 과제는 무엇인가?
• RQ5 생산 수준의 시스템에서 재구현된 모델을 공정하게 평가할 수 있도록 하는 이중 모델 배포 기반 구조의 효과성은 어느 정도인가?

주요 결과

• OP-Deepdive는 ν-Scenes와 Comma2k19 벤치마크에서 원본 슈퍼콤보 모델과 유사한 궤적 예측 정확도를 보이며 유사한 성능을 달성한다.
• CARLA 시뮬레이션에서 이중 모델 설정을 통해 OP-Deepdive가 안전성과 궤적 준거성 측면에서 원본 슈퍼콤보와 유사한 성능을 보임을 확인했다.
• 상하이에서의 실제 주행 테스트 결과, OP-Deepdive는 주로 사용되는 레벨 2 주행 시나리오, 즉 차선 유지 및 적응형 크루즈 컨트롤을 성공적으로 처리할 수 있었다.
• 이중 모델 배포 기반 구조는 실제 주행 평가에 효과적이었으며, 동일한 조건에서 원본 모델과 재구현 모델 간의 직접 비교를 가능하게 했다.
• 이 연구는 단안 카메라를 사용한 엔드 투 엔드 학습이 저비용 하드웨어에서 레벨 2 자율주행에 대해 실현 가능하다는 점을 확인했으며, 센서 및 컴퓨팅 요구사항에 대한 기존의 가정을 도전한다.
• ν-Scenes와 Comma2k19 등의 데이터셋 간 성능 격차는 아직 설명되지 않았으며, 이는 도메인 이동 또는 데이터 분포의 차이가 모델 일반화에 영향을 줄 수 있음을 시사한다.