[논문 리뷰] Improving the Generalization of End-to-End Driving through Procedural Generation

Quanyi Li, Zhenghao Peng외 3명|arXiv (Cornell University)|2020. 12. 26.

Autonomous Vehicle Technology and Safety참고 문헌 39인용 수 9

한 줄 요약

이 논문은 엔드 투 엔드 딥 러닝 기반 주행 에이전트의 일반화 능력을 향상시키기 위해 설계된 프로시저럴하게 생성되며 고도로 구성 가능한 주행 시뮬레이터인 PGDrive를 소개한다. 기본 블록으로부터 동적으로 다양한 도로 네트워크와 교통 조건을 생성함으로써, 점점 더 증가하는 프로시저럴 다양성에 기반한 훈련은 충돌률을 크게 감소시키고 예측할 수 없는 시나리오에서의 성능을 향상시킨다. 이는 프로시저럴 생성이 오버피팅을 완화하고 강화학습 에이전트의 강건성을 향상시킨다는 것을 보여준다.

ABSTRACT

Over the past few years there is a growing interest in the learning-based self driving system. To ensure safety, such systems are first developed and validated in simulators before being deployed in the real world. However, most of the existing driving simulators only contain a fixed set of scenes and a limited number of configurable settings. That might easily cause the overfitting issue for the learning-based driving systems as well as the lack of their generalization ability to unseen scenarios. To better evaluate and improve the generalization of end-to-end driving, we introduce an open-ended and highly configurable driving simulator called PGDrive, following a key feature of procedural generation. Diverse road networks are first generated by the proposed generation algorithm via sampling from elementary road blocks. Then they are turned into interactive training environments where traffic flows of nearby vehicles with realistic kinematics are rendered. We validate that training with the increasing number of procedurally generated scenes significantly improves the generalization of the agent across scenarios of different traffic densities and road networks. Many applications such as multi-agent traffic simulation and safe driving benchmark can be further built upon the simulator. To facilitate the joint research effort of end-to-end driving, we release the simulator and pretrained models at https://decisionforce.github.io/pgdrive

연구 동기 및 목표

• 제한된 고정된 시뮬레이터 환경에서 훈련된 엔드 투 엔드 주행 에이전트의 오버피팅 및 열악한 일반화 문제를 해결한다.
• 도로 네트워크와 교통 시나리오의 높은 다양성을 지원하는 확장 가능한 개방형 시뮬레이터를 개발하여 모델의 일반화 능력을 평가하고 향상시킨다.
• 프로시저럴 생성이 다양한 교통 밀도, 마찰 계수, 지도 복잡도에서의 안전성 일반화와 강건성에 미치는 영향을 조사한다.
• 미래 연구를 위해 제어 가능하고 재현 가능하며 다양한 시뮬레이션 조건에서 엔드 투 엔드 주행 정책의 벤치마킹을 가능하게 한다.

제안 방법

• 기본 도로 블록(예: 직선, 램프, 분기, 원형 교차로, 커브, 교차로)을 구성 가능한 파rameter와 함께 정의하여 프로시저럴 지도 생성의 기초를 마련한다.
• 이 블록들을 랜덤 조합으로 조립하여 실행 가능하고 상호작용 가능한 주행 환경을 만드는 블록 증분 생성 알고리즘을 구현한다.
• 현실적인 차량 운동학과 다중 모odal 관측(라이더와 유사한 포인트 클라우드, RGB/깊이 카메라, 베이비즈-이어 시맨틱 지도, 스칼라 데이터)을 통합하여 다양한 감각 입력을 시뮬레이션한다.
• 안전 제약 조건 하에서 훈련하기 위해 표준 보상 형상화와 라그랑주 제약 최적화를 결합한 강화학습(PPO)을 사용한다.
• 교통 밀도 및 마찰 계수와 같은 요소를 제어하면서 점점 증가하는 프로시저럴로 생성된 시나리오의 수를 변화시켜 훈련 환경을 체계적으로 다양화한다.
• 다양한 지도 구조, 교통 흐름, 환경 조건을 가진 예측할 수 없는 테스트 시나리오에서 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 훈련 환경의 프로시저럴 생성이 예측할 수 없는 도로 네트워크와 교통 밀도에서 엔드 투 엔드 주행 에이전트의 일반화 능력에 얼마나 기여하는가?
• RQ2 훈련 다양성이 딥 강화학습 에이전트의 안전성 일반화, 특히 충돌 회피 능력에 어떻게 영향을 미치는가?
• RQ3 고립된 도로 블록 유형에서 훈련된 에이전트는 복합적인 다중 블록 환경으로 일반화 가능한가, 아니면 복합 지도에서의 공동 훈련이 필수적인가?
• RQ4 교통 밀도와 표면 마찰 계수와 같은 환경 하이퍼파라미터는 훈련된 정책의 일반화 성능에 어떻게 영향을 미치는가?

주요 결과

• 점점 증가하는 프로시저럴로 생성된 환경에서의 훈련은 충돌률을 크게 감소시키고 예측할 수 없는 시나리오에서의 성능을 향상시켜 일반화 능력 향상을 입증한다.
• 표준 보상 형상화에 비해 라그랑주 방법을 사용한 제약 강화학습은 테스트 에피소드 비용을 약 50% 감소시켰으며, 특히 훈련 데이터가 제한된 경우에 두드러진 효과를 보였다.
• 0.0에서 0.4 사이의 랜덤 교통 밀도에서 훈련된 에이전트는 고정된 0.1 밀도에서 훈련된 에이전트보다 더 높은 밀도(예: 0.5–0.6)에서도 더 잘 일반화되었으며, 입력 다양성의 이점을 보여주었다.
• 3개의 블록 조합(예: 3-블록 조합)이 포함된 지도에서 훈련된 에이전트는 단일 블록 환경에서 300개의 별도 환경에서 훈련된 에이전트보다도 훨씬 더 우수한 일반화 능력을 보였다.
• 제한된 시나리오에서 훈련된 정책는 안전성 성능에서 오버피팅을 보이며, 새로운 환경에서는 높은 충돌률을 보였으며, 다양한 훈련 없이 실생활에 도입할 경우의 위험을 드러냈다.
• PGDrive는 단일 PC에서 최대 500개의 시뮬레이션 스텝/초를 달성하여 효율적인 훈련과 평가를 가능하게 하며, 확장성을 위한 병렬 처리도 지원한다.