[논문 리뷰] Autonomous Driving using Safe Reinforcement Learning by Incorporating a Regret-based Human Lane-Changing Decision Model

Dong Chen, Longsheng Jiang외 2명|arXiv (Cornell University)|2019. 10. 10.

Autonomous Vehicle Technology and Safety참고 문헌 24인용 수 5

한 줄 요약

이 논문은 복잡한 교통 환경에서 자율주행차의 안전하고 효율적인 정책을 훈련시키기 위해, 회귀 기반 인간의 차선 변경 결정 모델을 훈련 과정에 통합한 안전 강화학습 프레임워크를 제안한다. 행동경제학 원리에 기반한 인간 운전자의 행동 예측을 통해 안전 감독자가 위험한 동작을 제약함으로써, 표준 DDQN 대비 높은 학습 효율성과 정책 성능 유지를 유지하면서도 훈련 중에 충돌을 0건으로 줄였다.

ABSTRACT

It is expected that many human drivers will still prefer to drive themselves even if the self-driving technologies are ready. Therefore, human-driven vehicles and autonomous vehicles (AVs) will coexist in a mixed traffic for a long time. To enable AVs to safely and efficiently maneuver in this mixed traffic, it is critical that the AVs can understand how humans cope with risks and make driving-related decisions. On the other hand, the driving environment is highly dynamic and ever-changing, and it is thus difficult to enumerate all the scenarios and hard-code the controllers. To face up these challenges, in this work, we incorporate a human decision-making model in reinforcement learning to control AVs for safe and efficient operations. Specifically, we adapt regret theory to describe a human driver's lane-changing behavior, and fit the personalized models to individual drivers for predicting their lane-changing decisions. The predicted decisions are incorporated in the safety constraints for reinforcement learning in training and in implementation. We then use an extended version of double deep Q-network (DDQN) to train our AV controller within the safety set. By doing so, the amount of collisions in training is reduced to zero, while the training accuracy is not impinged.

연구 동기 및 목표

• 혼합 교통 환경에서 인간 운전차량이 존재하는 상황에서 안전하고 효율적인 자율주행차 정책을 훈련하는 데 도전 과제를 해결하기 위해.
• 예상 회귀와 확률 가중치 등의 심리적 요인을 반영한 손실 이론을 활용해 인간 운전자들의 차선 변경 행동을 모델링하기 위해.
• 예측된 인간의 의사결정을 활용해 위험한 행동을 제약하는 안전 감독자를 개발하기 위해.
• 강화학습 기반 자율주행차 정책의 훈련 및 구현 과정에서 충돌 없이 운영되도록 보장하기 위해.

제안 방법

• 심리적 영향 요소인 예상 회귀, 확률 가중치, 범위 효과 등을 포함한, 개인별 인간 운전자들의 차선 변경 행동을 예측하는 회귀 기반 의사결정 모델을 개발하였다.
• 실제 주행 데이터를 활용해 모델을 개인화하여 추상적인 위험 용어를 속도 및 거리와 같은 물리적 지표로 변환하였다.
• 안정성을 확보하기 위해 경험 재현 및 타겟 네트워크를 활용한 확장된 더블 딥 Q넷(DDQN)을 사용해 자율주행차의 의사결정 정책을 훈련시켰다.
• 안전 감독자가 인간 의사결정 모델의 예측을 기반으로 행동을 모니터링하고, 충돌 가능성이 있는 행동은 안전한 대체 행동으로 교체하였다.
• 강화학습 에이전트가 안전 감독자가 정의한 제약된 행동 공간 내에서 학습하도록 계층적 구조를 사용하였다.
• 차량 역학은 CARLA에서 오일러 적분을 사용해 시뮬레이션하였고, 안전, 속도, 편안함을 고려한 가중치가 부여된 보상 함수를 사용하였다.

실험 결과

연구 질문

• RQ1 자율주행 환경에서 손실 이론과 같은 행동경제학 원리에 기반해 인간 운전자들의 차선 변경 의사결정을 정확하게 모델링할 수 있는가?
• RQ2 손실 기반 인간 의사결정 모델은 강화학습 기반 자율주행차 제어의 안전성과 안정성에 어느 정도 기여하는가?
• RQ3 예측된 인간 행동을 활용하는 안전 감독자가 학습 성능을 저하시키지 않으면서도 강화학습 훈련 중 충돌을 줄일 수 있는가?
• RQ4 인간 행동 모델링의 통합은 훈련된 강화학습 정책의 수렴성과 내구성에 어떤 영향을 미치는가?

주요 결과

• SafeRL 프레임워크는 훈련 중에 충돌이 전혀 발생하지 않았고, 표준 DDQN 기반 기준(ConvlRL) 대비 8.6%의 에포크에서 충돌이 발생하였다.
• 안전 제약으로 인해 탐색 공간이 줄어들었음에도 불구하고, SafeRL은 ConvlRL과 유사한 성능의 정책으로 수렴하여 효과적인 제약 활용이 가능함을 보였다.
• SafeRL의 학습 곡선은 더 매끄럽고 안정적이었으며, 수렴 후 성능 변동이 없었고, ConvlRL는 잔여 충돌로 인해 수렴 후 큰 성능 변동을 보였다.
• 안전 감독자는 손실 기반 인간 의사결정 모델의 예측을 활용해 위험한 행동을 성공적으로 방지하여 충돌 없는 운영을 보장하였다.
• 제안된 방법은 높은 훈련 효율성과 정책 성능을 유지하였으며, 안전 제약이 학습 정확도나 속도를 저해하지 않음을 입증하였다.