[논문 리뷰] Urban Driver: Learning to Drive from Real-world Demonstrations Using Policy Gradients

Oliver Scheel, Luca Bergamini외 3명|arXiv (Cornell University)|2021. 09. 27.

Autonomous Vehicle Technology and Safety인용 수 14

한 줄 요약

이 논문은 100시간에 달하는 실제 주행 데이터를 바탕으로 도시 주행 정책을 학습하기 위한 최초의 오프라인 정책 그래디언트 방법인 Urban Driver를 제안한다. 중간 수준의 표현과 고정밀 지ap을 기반으로 구축된 미분 가능하고 데이터 기반의 시뮬레이터를 활용하여, 정책 수집이 필요 없는 폐쇄형 루프 정책 학습을 가능하게 하였으며, 시뮬레이션과 실제 자율주행 차량에서의 구현에서 최고 성능을 달성하였다.

ABSTRACT

In this work we are the first to present an offline policy gradient method for learning imitative policies for complex urban driving from a large corpus of real-world demonstrations. This is achieved by building a differentiable data-driven simulator on top of perception outputs and high-fidelity HD maps of the area. It allows us to synthesize new driving experiences from existing demonstrations using mid-level representations. Using this simulator we then train a policy network in closed-loop employing policy gradients. We train our proposed method on 100 hours of expert demonstrations on urban roads and show that it learns complex driving policies that generalize well and can perform a variety of driving maneuvers. We demonstrate this in simulation as well as deploy our model to self-driving vehicles in the real-world. Our method outperforms previously demonstrated state-of-the-art for urban driving scenarios -- all this without the need for complex state perturbations or collecting additional on-policy data during training. We make code and data publicly available.

연구 동기 및 목표

• 대규모 실제 주행 데이터로부터 직접 학습할 수 있는 확장성 있고 데이터 기반의 도시 주행 정책 학습 방법을 개발하기 위해.
• 특히 분포 이탈로 인한 공변수 이탈과 일반화 능력 저하로 인해 제한되는 행동 모방 학습의 한계를 해결하기 위해.
• 히우리스틱 펌프팅이나 수동으로 설계된 비용 함수에 의존하지 않고, 정책 그래디언트를 사용하여 폐쇄형 루프에서 종단 간 정책 학습을 가능하게 하기 위해.
• 학습된 정책이 실제 물리적 자율주행 차량에서 일반화되고 구현 가능함을 입증하기 위해.
• 벡터화된 표현에서 시간에 따라 역전파를 수행함으로써 정책 그래디언트 계산을 빠르게 할 수 있는 확장성 있고 효율적인 학습 파이프라인을 제공하기 위해.

제안 방법

• 실제 주행 로그와 고정밀 HD 지도를 기반으로 하여 새로운 현실적인 주행 에피소드를 합성하는, 미분 가능하고 데이터 기반의 시뮬레이터를 구축한다.
• 시뮬레이터의 입력으로 중간 수준의 벡터화된 표현(예: 차선 구조, 신호등, 에이전트의 궤적 등)을 사용하여 효율적이고 미분 가능한 시뮬레이션을 가능하게 한다.
• 장기적인 주행 행동과 보조 목표를 최적화할 수 있도록, 폐쇄형 루프에서 정책 그래디언트를 사용하여 정책 네트워크를 학습한다.
• 벡터화된 표현과 시간에 따라 역전파를 활용하여 정책 그래디언트를 효율적으로 계산함으로써, 대규모 데이터셋에서의 학습 복잡도를 감소시킨다.
• 시뮬레이터 내에서 정책 롤아웃을 시뮬레이션하기 위해 폐쇄형 루프 언롤링 메커니즘을 사용하여 시간적 일관성을 유지하는 종단 간 학습을 가능하게 한다.
• 기존의 주행 데이터에서 유래한 다양한 현실적인 시나리오를 시뮬레이터가 생성함으로써, 온정책 데이터 수집과 복잡한 상태 펌프팅을 피한다.

실험 결과

연구 질문

• RQ1 온정책 데이터 수집 없이도, 오프라인 행동 모방 학습에 정책 그래디언트 방법을 효과적으로 적용할 수 있는가?
• RQ2 실제 주행 로그와 HD 지도로부터 구축된 미분 가능하고 데이터 기반의 시뮬레이터가 도시 주행을 위한 효과적인 폐쇄형 루프 정책 학습을 가능하게 하는가?
• RQ3 기존의 행동 모방 및 펌프팅 기반 접근법과 비교할 때, 제안된 방법은 일반화 능력과 강건성 측면에서 어떤가?
• RQ4 순수하게 시뮬레이션에서 학습된 정책이 새로운 도시 환경에서 실제 자율주행 차량을 성공적으로 제어할 수 있는가?
• RQ5 명시적인 보상 형상화 없이도, 행동 모방과 보조 목표(예: 안정성, 안전성)를 동시에 최적화할 수 있는가?

주요 결과

• 제안된 방법은 시뮬레이션에서 모든 베이스라인을 압도하여 가장 낮은 I1K(15 ± 7)와 L2(0.42 ± 0.00) 지표를 기록하여 궤적 정확도가 뛰어나고 충돌 수가 적음을 나타낸다.
• 오프로드 충돌 수는 15 ± 7건, 뒷차 충돌 수는 46 ± 5건으로, 행동 모방(Behavioral Cloning, BC)의 79 ± 23건 및 395 ± 170건, BC-perturb의 14 ± 4건 및 73 ± 7건보다 유의미하게 낮다.
• 기존에 접촉한 적이 없는 비공개 시험 트랙에서도 모델이 잘 일반화되어 신호등이 빨간색일 땐 멈추고 초록색일 땐 진행하는 신호등이 있는 교차로를 성공적으로 통과하였다. 실제 주행 구현을 통해 이를 입증하였다.
• 편안함 실패 수는 637K ± 41K로, BC-perturb(636K ± 22K)와 MS Prediction(595K ± 49K)보다 낮아 동적 상호작용 처리 능력이 향상됨을 나타낸다.
• 시뮬레이션에서 학습된 정책는 7대의 카메라, 3대의 라이다, 11대의 레이더를 장착한 실제 포드 퓨전 차량에서 성공적으로 제어를 수행하였으며, 실제 적용 가능성은 확인되었다.
• 복잡한 상태 펌프팅과 온정책 데이터 수집이 필요 없음에도 불구하고 최고 성능을 달성함으로써, 분포 이탈에 대한 강건성을 입증하였다.