[논문 리뷰] Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autonomous Driving

Zhiyu Huang, Jingda Wu외 1명|arXiv (Cornell University)|2021. 03. 19.

Reinforcement Learning in Robotics참고 문헌 29인용 수 11

한 줄 요약

이 논문은 행동 복제와 불확실성 추정을 통해 인간 전문가의 시연를 응집하여 이mitative 전문가 정책을 도출하고, DRL 에이전트의 정책을 전문가 사전 분포와 KL 발산을 이용해 정규화함으로써 자율주행에서 샘플 효율성을 향상시키고 보상 함수 설계를 줄이는 딥 강화학습 프레임워크를 제안한다. 이 방법은 SAC보다 60% 높은 샘플 효율성을 달성하며, 희소 보상 환경에서도 인간과 유사한 주행 행동을 가능하게 한다.

ABSTRACT

Deep reinforcement learning (DRL) is a promising way to achieve human-like autonomous driving. However, the low sample efficiency and difficulty of designing reward functions for DRL would hinder its applications in practice. In light of this, this paper proposes a novel framework to incorporate human prior knowledge in DRL, in order to improve the sample efficiency and save the effort of designing sophisticated reward functions. Our framework consists of three ingredients, namely expert demonstration, policy derivation, and reinforcement learning. In the expert demonstration step, a human expert demonstrates their execution of the task, and their behaviors are stored as state-action pairs. In the policy derivation step, the imitative expert policy is derived using behavioral cloning and uncertainty estimation relying on the demonstration data. In the reinforcement learning step, the imitative expert policy is utilized to guide the learning of the DRL agent by regularizing the KL divergence between the DRL agent's policy and the imitative expert policy. To validate the proposed method in autonomous driving applications, two simulated urban driving scenarios (unprotected left turn and roundabout) are designed. The strengths of our proposed method are manifested by the training results as our method can not only achieve the best performance but also significantly improve the sample efficiency in comparison with the baseline algorithms (particularly 60\% improvement compared to soft actor-critic). In testing conditions, the agent trained by our method obtains the highest success rate and shows diverse and human-like driving behaviors as demonstrated by the human expert.

연구 동기 및 목표

• 딥 강화학습을 통한 자율주행에서 낮은 샘플 효율성과 복잡한 보상 함수 설계 문제를 해결하기 위해.
• 전문가 시연를 통해 인간의 사전 지식을 DRL 에이전트로 전이하여 학습 효율성과 정책 품질을 향상시키기 위해.
• 희소 보상 신호만을 사용하여 인간과 유사한 주행 행동이 자발적으로 나타나도록 하기 위해.
• 전문가 정책의 불확실성 추정과 학습 데이터 크기가 성능에 미치는 영향을 조사하기 위해.
• 탐색을 유지하면서도 전문가 행동으로 정책을 이끌 수 있는 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• 자율주행 작업을 시뮬레이션 환경에서 인간 전문가가 수행하는 동안 상태-행동 쌍으로 전문가 시연 데이터를 수집한다.
• 행동 복제와 함께 불확실성 추정을 결합하여 예측 행동에 대한 신뢰도를 정량화함으로써 이미테이티브 전문가 정책을 유도한다.
• DRL 에이전트의 정책을 전문가 정책과의 KL 발산 최소화를 통해 정규화한다.
• 두 가지 통합 방법이 제안되며, 이는 액터-크리틱 RL 프레임워크 내부에 통합된다: 보상 페널티와 정책 제약.
• 앙상블 방법을 사용하여 정책과 모델 불확실성을 모두 추정하는 불확실성 인식 전문가 정책을 구성한다.
• 프레임워크는 두 가지 복잡한 도심 주행 시나리오에서 검증된다: 보호 없는 좌회전과 원형 교차로 주행.

실험 결과

연구 질문

• RQ1 전문가 시연가 효과적으로 이미테이티브 전문가 정책으로 응집될 수 있는가? 이는 DRL 샘플 효율성을 향상시키는가?
• RQ2 전문가 정책에 불확실성 추정을 통합할 경우 DRL 학습의 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 이미테이티브 전문가 사전을 사용할 경우 자율주행에서 복잡한 보상 형태 설계가 얼마나 줄어들 수 있는가?
• RQ4 학습 샘플 크기와 불확실성 추정 방법이 어려운 주행 과제에서 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 희소 보상 피드백만으로 인간과 유사한 주행 행동을 달성할 수 있는가?

주요 결과

• 제안된 방법은 최신 기준인 소프트 액터-크리틱(SAC)보다 60% 높은 샘플 효율성을 달성한다.
• 40개의 시연 데이터로 학습할 경우 보수적인 보호 없는 좌회전 시나리오에서 성공률이 10개 샘플일 때 70%에서 96%로 상승한다.
• 희소 보상 환경에서 보상 페널티 방법이 정책 제약 방법보다 우수한 성능을 보이며, 특히 복잡한 과제에서 두드러진다.
• 정책과 모델 불확실성을 함께 추정하는 앙상블 기반 전문가 정책을 사용할 경우 더 나은 성능을 달성하며, 특히 어려운 시나리오에서 유의미한 개선이 관찰된다.
• 명시적인 보상 형태 설계 없이도 다양한 인간과 유사한 주행 행동(공격적, 보수적인 스타일 포함)을 에이전트가 성공적으로 학습한다.
• 시연 데이터 크기를 늘릴수록 학습 속도와 최종 테스트 성능이 모두 향상되며, 특히 과제가 어려운 경우에서 가장 두드러진 성과 향상이 관찰된다.