[논문 리뷰] Pylot: A Modular Platform for Exploring Latency-Accuracy Tradeoffs in Autonomous Vehicles

Ionel Gog, Sukrit Kalra외 4명|arXiv (Cornell University)|2021. 04. 15.

Autonomous Vehicle Technology and Safety참고 문헌 58인용 수 62

한 줄 요약

Pylot는 자율주행차(AV) 연구를 위한 오픈소스이자 모듈러한 플랫폼으로, AV 인식 및 계획 파이프라인에서 지연과 정확도의 상호보완적 관계를 체계적으로 연구할 수 있도록 한다. 고성능 데이터플로우 아키텍처를 기반으로 하며, CARLA와 같은 시뮬레이터 및 실제 차량과 통합되어 실제 주행 조건에서 구성 요소 성능을 평가할 수 있는 기준 및 참값 구현을 제공한다. 이는 CARLA 자율주행 챌린지에서 최고 성과를 기록하였다.

ABSTRACT

We present Pylot, a platform for autonomous vehicle (AV) research and development, built with the goal to allow researchers to study the effects of the latency and accuracy of their models and algorithms on the end-to-end driving behavior of an AV. This is achieved through a modular structure enabled by our high-performance dataflow system that represents AV software pipeline components (object detectors, motion planners, etc.) as a dataflow graph of operators which communicate on data streams using timestamped messages. Pylot readily interfaces with popular AV simulators like CARLA, and is easily deployable to real-world vehicles with minimal code changes. To reduce the burden of developing an entire pipeline for evaluating a single component, Pylot provides several state-of-the-art reference implementations for the various components of an AV pipeline. Using these reference implementations, a Pylot-based AV pipeline is able to drive a real vehicle, and attains a high score on the CARLA Autonomous Driving Challenge. We also present several case studies enabled by Pylot, including evidence of a need for context-dependent components, and per-component time allocation. Pylot is open source, with the code available at https://github.com/erdos-project/pylot.

연구 동기 및 목표

• 지연과 정확도를 모두 고려한 종단 간 평가 프레임워크의 부족을 해결하기 위해.
• 구성 요소의 실행 시간과 정확도가 종합적으로 주행 행동과 안전성에 미치는 영향을 연구할 수 있도록 하기 위해.
• 시뮬레이션과 실제 환경 배포 간 원활한 전환을 지원하는 이식성 있고 모듈러한 플랫폼을 제공하기 위해.
• 결정론적 실행과 데이터플로우 기반 아키텍처를 통해 AV 실험의 디버깅 가능성과 재현 가능성을 향상시키기 위해.
• 긴급 조작과 고속 주행 조건을 포함한 실제 주행 시나리오에서 AV 구성 요소의 A/B 테스트를 지원하기 위해.

제안 방법

• 모델과 알고리즘은 타임스탬프가 부여된 연산자로 구성된 데이터플로우 그래프 형태로 구조화되어, 모듈러하고 조합 가능한 AV 파이프라인 구축을 가능하게 한다.
• 플랫폼은 높은 성능을 지닌 결정론적 데이터플로우 시스템을 사용하여 실행의 재현 가능성을 보장하고 구성 요소 간 낮은 지연 통신을 확보한다.
• CARLA와 같은 시뮬레이션 환경과 통합되며, 최소한의 코드 수정으로 실제 차량에 배포할 수 있다.
• 인식(예: 객체 검출, 세그멘테이션), 예측, 계획, 제어 모듈에 대한 기준 구현이 제공된다.
• 시뮬레이터에서 제공하는 상태 데이터에 접근함으로써 이상화된 테스트와 디버깅을 위한 참값 구현이 가능하다.
• 모델 실행 시간과 주행 속도를 고려한 '시기적' 평가 지표(예: 시기적 mIoU, 시기적 AP50)를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 주행 속도에서 인식 구성 요소의 실행 시간이 시기적 정확도에 미치는 영향은 어떠한가?
• RQ2 구성 요소 지연이 긴급 조작 상황에서 종단 간 주행 행동에 미치는 영향은 무엇인가?
• RQ3 다양한 계획 알고리즘 설정이 충돌 회피와 주행 편안함 사이에서 어떻게 상호보완하는가?
• RQ4 다양한 주행 속도와 실행 시간에서 최적의 시기적 성능을 달성하는 객체 검출기는 어떤 것인가?
• RQ5 속도와 가림 요소와 같은 맥락 기반 요소가 AV 구성 요소의 효과성에 미치는 영향은 어느 정도인가?

주요 결과

• 세그멘테이션 모델의 실행 시간이 10ms일 경우 시기적 mIoU는 약 0.75로 떨어지며, 이는 최고 성과의 Cityscapes 챌린지 참가자들의 mIoU 이하이다.
• 보행자 검출의 경우, 모델 실행 시간이 35ms에 도달하면 시기적 AP50가 반으로 줄어들며, 이는 빠른 추론 또는 궤적 예측이 필수적임을 시사한다.
• 40m/s 속도에서 세그멘테이션의 시기적 mIoU는 10m/s 대비 28% 감소하고, 검출의 시기적 AP50는 0으로 떨어지며, 고속 주행에서 정확도가 심각하게 저하됨을 보여준다.
• 고속 주행 시, 빠르지만 정확도가 낮은 검출기가 느리지만 정확도가 높은 검출기보다 시기적 정확도에서 뛰어나며, 이는 실행 시간이 모델 선택에서 매우 중요함을 입증한다.
• 30ms의 P99 실행 시간을 가진 FOT 플래너는 RRT*와 Hybrid A*보다 더 낮은 횡방향 급격한 가속도(저항)를 기록하며 더 나은 주행 편안함을 달성했지만, 충돌 회피 성공 사례는 적었으며, 이는 안전성과 편안함 사이의 상호보완적 관계를 보여준다.
• 이 플랫폼은 CARLA 자율주행 챌린지 HD 지도 트랙에서 높은 점수를 기록한 제출을 가능하게 하여 실제 벤치마킹에서의 효과성을 입증하였다.