[논문 리뷰] Agent-based Learning for Driving Policy Learning in Connected and Autonomous Vehicles

Xiongzhao Wang, De Silva외 1명|arXiv (Cornell University)|2017. 09. 14.

Traffic control and management참고 문헌 13인용 수 1

한 줄 요약

이 논문은 차량 간 통신(V2V)을 통해 실시간 데이터를 활용하여 자율 주행 정책을 스스로 진화시키는 에이전트 기반 강화 학습 프레임워크를 제안한다. 결과적으로 V2V 통신이 학습 효율성을 크게 향상시켜, CAVs가 시간이 지남에 따라 사고 회피 및 목표 달성 정책을 자율적으로 개발할 수 있음을 보여준다.

ABSTRACT

Due to the complexity of the natural world, a programmer cannot foresee all possible situations a connected and autonomous vehicle (CAV) will face during its operation, and hence, CAVs will need to learn to make decisions autonomously. Due to the sensing of its surroundings and information exchanged with other vehicles and road infrastructure a CAV will have access to large amounts of useful data. This paper investigates a data driven driving policy learning framework through an agent based learning. A reinforcement learning framework is presented in the paper, which simulates the self-evolution of a CAV over its lifetime. The results indicated that overtime the CAVs are able to learn useful policies to avoid crashes and achieve its objectives in more efficient ways. Vehicle to vehicle communication in particular, enables additional useful information to be acquired by CAVs, which in turn enables CAVs to learn driving policies more efficiently. The simulation results indicate that while a CAV can learn to make autonomous decision V2V communication of information improves this capability. The future work will investigate complex driving policies such as roundabout negotiations, cooperative learning between CAVs and deep reinforcement learning to traverse larger state spaces.

연구 동기 및 목표

• 사전에 정의된 규칙로는 충분하지 않은 예측 불가능한 실생활 주행 환경에서 CAVs가 직면하는 과제를 해결하기 위해.
• 지속적인 상호작용과 데이터 수집을 통해 CAVs가 최적의 주행 정책을 자율적으로 학습할 수 있도록 하기 위해.
• 차량 간(V2V) 통신이 주행 정책 학습의 효율성을 어떻게 향상시키는지 조사하기 위해.
• 장기적 적응 및 자기 진화를 지원하는 확장 가능한 데이터 기반 프레임워크를 개발하기 위해.

제안 방법

• 프레임워크는 시뮬레이션 환경에서 시행착오 방식의 상호작용을 통해 정책을 학습하는 강화 학습(RL) 프레임워크를 사용한다.
• 각 CAV는 환경을 관찰하고 행동을 취하며, 안전성 및 효율성 지표에 기반한 보상을 수신하는 자율 에이전트로 작동한다.
• V2V 통신을 통합하여 주변 차량의 위치 및 의도와 같은 추가적인 맥락 데이터를 제공함으로써 학습을 위한 상태 공간을 풍부하게 한다.
• 학습 과정은 CAV의 수명 주기 동안의 진화를 시뮬레이션하여 다양한 교통 환경에 반복 노출됨에 따라 정책이 향상되는 방식으로 진행된다.
• 연결된 차량과 인프라로부터의 실시간 데이터 스트림을 활용하여 확장 가능한 정책 학습을 지원한다.
• 딥 강화 학습을 활용해 더 큰 복잡한 상태 공간을 다룰 수 있도록 하기 위해 아키텍처를 설계하였다.

실험 결과

연구 질문

• RQ1 사전에 정의된 규칙 없이 복잡하고 예측 불가능한 교통 환경에서 CAVs는 어떻게 효과적인 주행 정책을 학습할 수 있는가?
• RQ2 차량 간(V2V) 통신은 CAVs의 주행 정책 학습 효율성과 효과성에 어느 정도 기여하는가?
• RQ3 자기 진화하는 에이전트 기반 강화 학습 프레임워크는 CAVs가 시간이 지남에 따라 안전하고 효율적인 주행 행동을 자율적으로 개발할 수 있도록 할 수 있는가?
• RQ4 V2V 데이터의 통합은 학습된 주행 정책의 수렴 속도와 성능에 어떤 영향을 미치는가?

주요 결과

• CAVs는 사전 정의된 규칙 없이도 강화 학습을 통해 자율 주행 정책을 학습할 수 있다.
• V2V 통신 통합으로 인해 시뮬레이션 환경 내 주행 정책 학습 효율성이 크게 향상된다.
• 시간이 지남에 따라 CAVs는 사고를 효과적으로 회피하고 보다 효율적으로 미션 목표를 달성하는 정책을 개발한다.
• V2V 통신은 에이전트의 인지 및 의사결정 능력을 향상시키는 데 핵심적인 맥락 데이터를 제공한다.
• 프레임워크는 원형 교차로 통과와 같은 복잡한 주행 동작으로의 향후 확장에 대해 확장 가능성을 보여준다.
• 향후 연구에서는 더 큰 복잡한 상태 공간에서의 학습을 가능하게 하기 위해 딥 강화 학습을 탐색할 예정이다.