[논문 리뷰] Driver Dojo: A Benchmark for Generalizable Reinforcement Learning for Autonomous Driving

Sebastian Rietsch, Shih-Yuan Huang외 3명|arXiv (Cornell University)|2022. 07. 23.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

Driver Dojo는 자율 주행에서 일반화 가능한 강화 학습을 평가하기 위해 SUMO 기반으로 구축된 유연하고 구성 가능한 벤치마크 환경입니다. 랜덤화된 도로 레이아웃, 다양한 교통 상황, 다수의 관측 및 행동 공간, 차량 동역학 모델을 지원하여 다양한 주행 조건에서 강화 학습 정책의 철저한 테스트를 가능하게 하며, 완전한 재현 가능성과 모듈러한 설계를 제공합니다.

ABSTRACT

Reinforcement learning (RL) has shown to reach super human-level performance across a wide range of tasks. However, unlike supervised machine learning, learning strategies that generalize well to a wide range of situations remains one of the most challenging problems for real-world RL. Autonomous driving (AD) provides a multi-faceted experimental field, as it is necessary to learn the correct behavior over many variations of road layouts and large distributions of possible traffic situations, including individual driver personalities and hard-to-predict traffic events. In this paper we propose a challenging benchmark for generalizable RL for AD based on a configurable, flexible, and performant code base. Our benchmark uses a catalog of randomized scenario generators, including multiple mechanisms for road layout and traffic variations, different numerical and visual observation types, distinct action spaces, diverse vehicle models, and allows for use under static scenario definitions. In addition to purely algorithmic insights, our application-oriented benchmark also enables a better understanding of the impact of design decisions such as action and observation space on the generalizability of policies. Our benchmark aims to encourage researchers to propose solutions that are able to successfully generalize across scenarios, a task in which current RL methods fail. The code for the benchmark is available at https://github.com/seawee1/driver-dojo.

연구 동기 및 목표

• 다양한 교통 및 도로 구성에서 강화 학습의 복잡성과 이식 가능성을 평가할 수 있는 표준화되고 일반화 가능한 벤치마크의 부족을 해결하기 위해.
• 실제 도로 환경의 다양성을 반영하는 동적이고 랜덤화된 주행 시나리오에서 강화 학습 알고리즘의 체계적 평가를 가능하게 하기 위해.
• 행동 공간, 관측 공간, 차량 동역학, 시나리오 랜덤화와 같은 설계 선택 사항이 자율 주행에서 정책의 일반화에 미치는 영향을 조사하기 위해.
• 알고리즘 연구와 자율 주행 분야의 일반화 분석을 위한 애플리케이션 중심 연구를 지원하는 모듈러하고 성능이 우수하며 재현 가능한 코드베이스를 제공하기 위해.
• 현재 기술의 한계인 특정 훈련 시나리오를 초월해 일반화하는 강화 학습 에이전트 개발을 촉진하기 위해.

제안 방법

• 실제 도로 및 교통 네트워크 생성을 위한 핵심 시뮬레이션 엔진으로 도시 모델링 시뮬레이션(SUMO) 프레임워크를 활용합니다.
• 도로 레이아웃, 교통 밀도, 차량 행동과 같은 구성 가능한 파rameter를 가진 교차로, 원형 진입로, 고속도로 작업을 위한 랜덤화된 시나리오 생성기 카탈로그를 활용합니다.
• 수치적, 시각적 등 다양한 관측 모odalities와 직접적, 의미적 행동 공간을 지원하며, 다섯 가지의 별도된 차량 동역학 모델을 제공합니다.
• 속도, 공격성 등 물리적 및 행동적 속성을 차량 단위로 샘플링하여 이질적인 교통 행동을 모델링합니다.
• 재현 가능성을 위해 결정론적 시드를 사용한 정적 시나리오 배포와 함께 일반화 테스트를 위한 동적 랜덤화를 지원합니다.
• Tianshou와 Hydra를 기반으로 한 모듈러하고 고성능 코드베이스를 사용하여 다양한 환경 조합과 실험 구성의 유연성을 확보합니다.

실험 결과

연구 질문

• RQ1 다양한 자율 주행 시나리오에서 강화 학습 에이전트의 일반화 성능에 영향을 미치는 관측 및 행동 공간 설계의 차이점은 무엇인가요?
• RQ2 표준 강화 학습 알고리즘(DQN, PPO, FQF 등)은 자율 주행에서 랜덤화된 도로 레이아웃과 교통 조건 간에 어느 정도 일반화할 수 있나요?
• RQ3 이질적인 차량 행동과 동적 교통 초기화가 정책의 강건성과 일반화에 어떤 영향을 미치나요?
• RQ4 구성 가능한 시나리오 생성 기능을 갖춘 통합된 벤치마크 환경은 자율 주행 분야의 강화 학습 연구에서 재현 가능성과 비교 가능성 향상에 기여할 수 있나요?
• RQ5 현재 강화 학습 방법은 표준 훈련 분포를 초월한 새로운 랜덤화된 주행 시나리오에서 어떤 실패 유형을 보이며, 이는 실제 적용 시의 한계를 어떻게 드러내나요?

주요 결과

• TPS 행동 공간을 사용해 교차로 시나리오에서 훈련한 정책는 FQF-100의 충돌률 16.25%와 완료율 55.91%를 기록하여 중간 수준의 일반화 성능를 보였습니다.
• 고속도로 출구 시나리오에서는 FQF-100 에이전트가 충돌률 10.49%와 완료율 29.92%를 기록하여 복잡한 고속도로 주행 동작에서의 일반화에 큰 도전 과제가 있음을 시사합니다.
• 10,000 에피소드 훈련 시 완료율이 크게 감소하는 현상(예: 교차로에서 DQN의 경우 59.06%에서 34.87%로 감소)이 관찰되어 특정 훈련 조건에 과적합된 것으로 나타났습니다.
• 100 에피소드 훈련으로 교차로 시나리오에서 PPO 에이전트는 완료율 56.06%와 충돌률 23.87%를 기록하여 동일 조건에서 DQN보다 더 뛰어난 샘플 효율성을 보였습니다.
• 시각 기반 모델은 더 많은 컴퓨팅 자원이 필요했으며 성능의 변동성이 더 높았으며, GPU 노드(테슬라 V100 4개, 메모리 187GB)에서 훈련되어 계산 자원 소모가 크다는 점을 보였습니다.
• 모든 실험은 결정론적 시드와 모듈러한 구성 설정을 통해 완전한 재현 가능성을 확보하였으며, GitHub 리포지토리의 README.md 파일에 모든 실험 기록이 문서화되어 있습니다.