[논문 리뷰] Improved Deep Reinforcement Learning with Expert Demonstrations for Urban Autonomous Driving

Haochen Liu, Zhiyu Huang외 2명|arXiv (Cornell University)|2021. 02. 18.

Traffic control and management인용 수 7

한 줄 요약

이 논문은 도시 자율 주행 환경에서 보상 최적화와 전문가 행동 모방을 동시에 최적화하는 새로운 소프트 액터-크리틱 기반 강화학습에서의 시뮬레이션(Reinforcement Learning from Demonstrations, RLfD) 프레임워크를 제안한다. 에이전트의 자기 탐색과 전문가 시범 간 균형을 이루기 위해 적응형 우선순위 경험 재생을 통합함으로써, 더 빠른 수렴과 뛰어난 성능을 달성한다 — 시뮬레이션된 원형 교차로 시나리오에서 90% 성공률, 8% 충돌률을 기록하며 최신의 RL 및 IL 기준선을 능가한다.

ABSTRACT

Learning-based approaches, such as reinforcement learning (RL) and imitation learning (IL), have indicated superiority over rule-based approaches in complex urban autonomous driving environments, showing great potential to make intelligent decisions. However, current RL and IL approaches still have their own drawbacks, such as low data efficiency for RL and poor generalization capability for IL. In light of this, this paper proposes a novel learning-based method that combines deep reinforcement learning and imitation learning from expert demonstrations, which is applied to longitudinal vehicle motion control in autonomous driving scenarios. Our proposed method employs the soft actor-critic and modifies the learning process of the policy network to incorporate both the goals of maximizing reward and imitating the expert. Moreover, an adaptive prioritized experience replay is designed to sample experience from both the agent's self-exploration and expert demonstration, in order to improve sample efficiency. The proposed method is validated in a simulated urban roundabout scenario and compared with various prevailing RL and IL baselines. The results manifest that the proposed method has a faster training speed, as well as better performance in navigating safely and time-efficiently.

연구 동기 및 목표

• 복잡한 도시 주행 환경에서 딥 강화학습(DRL)의 낮은 데이터 효율성과 이민학습(IL)의 열악한 일반화 능력을 해결하기 위해.
• 전문가 시범을 통합하여 DRL의 샘플 효율성과 학습 속도를 향상시키기 위해.
• 보상 최적화와 전문가 모방의 통합 최적화를 통해 자율 종방향 제어의 정책 성능과 안전성을 향상시키기 위해.
• 자기 탐색과 전문가 데이터 샘플링 간 동적 균형을 이루는 적응형 경험 재생 메커니즘을 설계하기 위해.
• 다양한 교통 조건을 가진 고정밀 시뮬레이션된 도시 원형 교차로 환경에서 제안된 방법을 검증하기 위해.

제안 방법

• Q함수 최적화와 전문가 행동 모방을 결합한 수정된 정책 네트워크 업데이트를 사용하는 소프트 액터-크리틱(SAC) 프레임워크를 적용한다.
• 에이전트의 행동이 전문가 시범과 일치하도록 정책 업데이트에 이민학습 손실을 도입함으로써 성능 하한을 확보한다.
• 에이전트가 생성한 궤적과 전문가 시범 간 샘플링 비율을 동적으로 조정하는 적응형 우선순위 경험 재생(PER) 메커니즘을 설계한다.
• 경험 재생 버퍼는 자기 수집 전이와 전문가 궤적을 모두 저장하며, 학습 진행 상황과 데이터 품질에 따라 샘플링 가중치를 조정한다.
• 복잡성을 줄이기 위해 차량 제어를 횡방향(pure-pursuit)과 종방향(제안된 RLfD를 통해 학습)으로 분해한다.
• 실제 도시 원형 교차로 시나리오를 사용하여 CARLA 시뮬레이터에서 프레임워크를 훈련하고 테스트한다.

실험 결과

연구 질문

• RQ1 딥 강화학습과 전문가 시범을 조합함으로써 자율 주행에서 샘플 효율성과 학습 속도를 향상시킬 수 있는가?
• RQ2 보상 최적화와 전문가 모방의 공동 최적화가 복잡한 도시 환경에서 정책의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 자기 탐색과 전문가 데이터 간 균형을 이루는 적응형 경험 재생이 학습 안정성과 수렴에 얼마나 기여하는가?
• RQ4 밀도 높은 도시 원형 교차로에서 제안된 방법은 성공률, 충돌률, 목표 도달 시간 측면에서 최신의 RL 및 IL 기준선과 어떻게 비교되는가?
• RQ5 하이브리드 RL-IL 접근법이 안전성과 효율성 측면에서 순수 규칙 기반 또는 엔드 투 엔드 이민학습 방법을 능가할 수 있는가?

주요 결과

• 제안된 방법은 테스트에서 90%의 성공률를 기록하여, SAC(76%) 및 DQfD(80%)를 포함한 모든 기준선 방법보다 뚜렷이 뛰어나다.
• SAC의 14% 및 DQfD의 17%와 비교해 가장 낮은 충돌률 8%를 기록했다.
• 평균 에피소드 보상은 1205.3 ± 135.79로, 모든 방법 중에서 가장 높아 누적 성능가 뛰어남을 나타낸다.
• 평균 에피소드 길이는 23.9 ± 6.5초로, 모든 방법 중에서 가장 짧아 목적지 도착 속도가 빠름을 보여준다.
• 규칙 기반 안전 제어기를 추가한 방법은 93%의 성공률과 5%의 충돌률을 기록하여 더 높은 견고성을 입증했다.
• 제거 실험 결과, 전문가 모방과 적응형 PER의 조합이 수렴 속도를 크게 향상시키고 최종 성능을 향상시킨다는 점을 확인했다.