[논문 리뷰] Altruistic Maneuver Planning for Cooperative Autonomous Vehicles Using Multi-agent Advantage Actor-Critic

Behrad Toghi, Rodolfo Valiente외 3명|arXiv (Cornell University)|2021. 07. 12.

Traffic control and management인용 수 14

한 줄 요약

이 논문은 자율주행차(AV)가 인간 운전자의 행동을 암묵적으로 학습함으로써 협력적 주행을 유도하고, 교통 안전성과 흐름을 향상시키기 위해 탈중앙화된 다중 에이전트 강화학습 기반의 접근법을 제안한다. 주요 결과는 자율주행차가 사전에 주어진 주행 공간을 만들어내는 것으로, 충돌 수를 크게 줄이고, 합류하는 차량이 이동하는 거리를 약 220m에서 약 450m로 두 배로 늘리는 데 성공했다.

ABSTRACT

With the adoption of autonomous vehicles on our roads, we will witness a mixed-autonomy environment where autonomous and human-driven vehicles must learn to co-exist by sharing the same road infrastructure. To attain socially-desirable behaviors, autonomous vehicles must be instructed to consider the utility of other vehicles around them in their decision-making process. Particularly, we study the maneuver planning problem for autonomous vehicles and investigate how a decentralized reward structure can induce altruism in their behavior and incentivize them to account for the interest of other autonomous and human-driven vehicles. This is a challenging problem due to the ambiguity of a human driver's willingness to cooperate with an autonomous vehicle. Thus, in contrast with the existing works which rely on behavior models of human drivers, we take an end-to-end approach and let the autonomous agents to implicitly learn the decision-making process of human drivers only from experience. We introduce a multi-agent variant of the synchronous Advantage Actor-Critic (A2C) algorithm and train agents that coordinate with each other and can affect the behavior of human drivers to improve traffic flow and safety.

연구 동기 및 목표

• 자율주행차가 개인적 유용성과 사회적 유용성을 동시에 최적화함으로써 혼합자율주행 환경에서 이타적 행동을 보이도록 유도하기.
• 명시적인 행동 모델에 의존하지 않고 인간 운전자의 협력 여부에 대한 불확실성을 다루기.
• 자율주행차가 협력하고 인간 운전자의 행동에 영향을 줄 수 있도록 탈중앙화된 강화학습 프레임워크를 개발하기.
• 고속도로 합류 시나리오에서 협력적 운행 계획을 통해 교통 안전성과 효율성을 향상시키기.
• 사전 정의된 모델이 아닌 경험을 통해 인간 운전의 역학을 암묵적으로 학습하도록 자율주행차를 훈련하기.

제안 방법

• 탈중앙화된 자율주행차 훈련을 위해 동기식 이점 운동가치기반(A2C) 알고리즘의 다중 에이전트 변형을 사용한다.
• 각 자율주행차는 개인적 유용성과 사회적 유용성 항목을 조합한 탈중앙화된 보상 신호를 수신하여 이타적 행동을 장려한다.
• 상태 표현은 시간적 의존성을 반영하기 위해 스택된 속도맵(VelocityMaps)을 사용한다.
• 알고리즘은 명시적인 인간 운전자 모델 없이 원시 관측치에서 학습함으로써 경험을 통해 인간 행동을 암묵적으로 포착한다.
• 혼합된 자율주행차와 인간 운전차량(HVs)이 존재하는 다차선 고속도로 시뮬레이션 환경에서 훈련을 수행한다.
• 보상 형식화는 자율주행차가 자신의 진전을 유예함으로써 인간 운전자를 위한 안전한 합류 기회를 조성하도록 유도한다.

실험 결과

연구 질문

• RQ1 명시적인 인간 운전자 모델 없이 탈중앙화된 다중 에이전트 강화학습 프레임워크가 자율주행차의 이타적 행동을 유도할 수 있는가?
• RQ2 이타적 운행 계획은 혼합자율주행 고속도로 환경에서 교통 안전성과 흐름에 어떤 영향을 미치는가?
• RQ3 자율주행차가 얼마나 잘 협력하여 인간 운전자 행동에 영향을 주고 합류 결과를 향상시킬 수 있는가?
• RQ4 종단간 훈련을 통해 자율주행차가 개인적 유용성과 사회적 유용성을 균형 있게 학습할 수 있는가?
• RQ5 교통 역학에서의 시간적 의존성이 이타적 운행 계획의 성능에 어떤 영향을 미치는가?

주요 결과

• 고속도로 합류 시나리오에서 이타적 자율주행차는 이기적인 대비 충돌 수를 크게 줄였다.
• 합류하는 인간 운전차량의 평균 이동 거리는 이기적인 경우 약 220미터에서 이타적인 경우 약 450미터로 증가하여 더 안전하고 효과적인 합류를 나타냈다.
• 이타적 자율주행차는 안전한 합류 공간을 조율하여 합류 차량이 방해 없이 운행을 완료할 수 있도록 했다.
• 합류 차량과 직접 상호작용하는 가이드 자율주행차(Guide AV)는 차선 변경과 전략적 감속 등의 적응형 행동을 보여주어 안전한 합류를 가능케 했다.
• 다양한 라운드에서 안정적인 수렴을 달성하여 제안된 학습 프레임워크의 견고성을 입증했다.
• 스택된 속도맵 표현 방식은 시간적 동역학을 효과적으로 포착하여 장기적 운행 계획을 지원했다.