[논문 리뷰] Potential Game-Based Decision-Making for Autonomous Driving

Mushuang Liu, Ilya Kolmanovsky외 4명|arXiv (Cornell University)|2022. 01. 16.

Energy, Environment, and Transportation Policies인용 수 4

한 줄 요약

이 논문은 자율주행 주행 의사결정을 위한 유한 및 연속 잠재게임 기반 프레임워크를 제안하며, 후행 최적화와 비용 함수 형상화를 통합하여 순전략 나시균형 존재성 및 수렴성에 대한 이론적 보장을 확보한다. 이 방법은 강화학습 및 제어 장벽 함수보다 비안전 중심 주행 차량에 대해 뛰어난 내구성을 보이며, 교차로 통과 및 차선 변경을 포함한 모든 시나리오에서 충돌이 없었다.

ABSTRACT

Decision-making for autonomous driving is challenging, considering the complex interactions among multiple traffic agents (e.g., autonomous vehicles (AVs), human drivers, and pedestrians) and the computational load needed to evaluate these interactions. This paper develops two general potential game based frameworks, namely, finite and continuous potential games, for decision-making in autonomous driving. The two frameworks account for the AVs' two types of action spaces, i.e., finite and continuous action spaces, respectively. We show that the developed frameworks provide theoretical guarantees, including 1) existence of pure-strategy Nash equilibria, 2) convergence of the Nash equilibrium (NE) seeking algorithms, and 3) global optimality of the derived NE (in the sense that both self- and team- interests are optimized). In addition, we provide cost function shaping approaches to constructing multi-agent potential games in autonomous driving. Moreover, two solution algorithms, including self-play dynamics (e.g., best response dynamics) and potential function optimization, are developed for each game. The developed frameworks are then applied to two different traffic scenarios, including intersection-crossing and lane-changing in highways. Statistical comparative studies, including 1) finite potential game vs. continuous potential game, and 2) best response dynamics vs. potential function optimization, are conducted to compare the performances of different solution algorithms. It is shown that both developed frameworks are practical (i.e., computationally efficient), reliable (i.e., resulting in satisfying driving performances in diverse scenarios and situations), and robust (i.e., resulting in satisfying driving performances against uncertain behaviors of the surrounding vehicles) for real-time decision-making in autonomous driving.

연구 동기 및 목표

• 자율주행차(AV), 운전사가 운전하는 차량, 보행자 간의 복잡한 실시간 상호작용 속에서 다중 에이전트 의사결정 문제를 해결한다.
• 기존의 게임이론적 접근 방식의 한계, 즉 순전략 나시균형 존재성 부족, 수렴 문제, 낮은 확장성 문제를 극복한다.
• 이론적으로 탄탄한 프레임워크를 개발하여 나시균형 존재성 및 수렴성을 보장하면서도 실시간 구현의 계산 가능성을 유지한다.
• 강화학습 및 제어 장벽 함수 기반 방법에서 나타나는 중요한 격차인 비안전 중심 주행 차량에 대한 내구성을 향상시킨다.
• 교차로 통과 및 차선 변경 시나리오에 대한 실용적인 제형을 제공하고, 종합적인 통계적 비교를 통해 검증한다.

제안 방법

• 유한 및 연속 잠재게임을 각각 이산 및 연속 행동 공간에 맞게 자율주행차 의사결정을 위해 제안한다.
• 에이전트의 목표를 공통 주행 목표(예: 안전성, 효율성)와 일치시키면서도 게임이 잠재게임이 되도록 보장하는 비용 함수 형상화 방법을 도입한다.
• 잠재게임 프레임워크와 후행 최적화를 통합하여 실시간 동적 의사결정을 가능하게 한다.
• 최상응답 동역학 및 잠재함수 최적화 기반의 확장 가능한 나시균형 탐색 알고리즘을 설계한다.
• 다양한 주변 차량 전략을 가진 교차로 통과 및 차선 변경 시나리오에서 수치 시뮬레이션을 활용해 프레임워크를 구현하고 비교한다.
• 공정한 비교를 위해 동작 공간 제약 조건이 있는 CBF의 변형인 예측-수정 충돌 회피(PCCA)를 사용한다.

실험 결과

연구 질문

• RQ1 유한 및 연속 행동 공간을 가진 자율주행 의사결정에 대해 잠재게임 프레임워크가 효과적으로 적용될 수 있는가?
• RQ2 제안된 프레임워크는 순전략 나시균형 존재성과 균형 탐색 알고리즘 수렴성을 어떻게 보장하는가?
• RQ3 강화학습 및 제어 장벽 함수와 비교해 볼 때, 잠재게임 접근 방식은 비안전 중심 주행 차량에 대해 얼마나 뛰어난 내구성을 보이는가?
• RQ4 실시간 주행 시나리오에서 잠재게임 접근 방식의 계산 효율성은 강화학습 및 CBF 기반 방법과 비교해 어떻게 되는가?
• RQ5 비용 함수 형상화 방법은 공통 주행 목표를 반영한 안전하고 효율적이며 협력적인 행동을 생성할 수 있는가?

주요 결과

• 유한 및 연속 잠재게임 프레임워크는 순전략 나시균형 존재성과 균형 탐색 알고리즘 수렴성을 보장한다.
• 교차로 통과 시나리오에서, 주변 차량이 일정 속도 전략을 따르는 상황에서도 잠재게임 접근 방식은 충돌이 없었으며(0/5000), 강화학습(2403/5000 충돌) 및 CBF(2229/5000 충돌)보다 뛰어난 성능을 보였다.
• 균형 전략(NE) 하에서 평균 자동차 속도는 3.78 m/s였고, 일정 속도 전략 하에서는 3.05 m/s였으며, 이는 균형 잡힌 성능과 안전성의 조화를 보여준다.
• 잠재게임 접근 방식의 평균 계산 시간은 0.05초(최대 0.10초)였으며, 이는 0.5초의 샘플링 시간 내에 충분히 만족하여 실시간 실행 가능성을 확인했다.
• 잠재게임 접근 방식은 균형 전략과 일정 속도 전략 모두에서 충돌이 없었으며, 강화학습 및 CBF는 비안전 중심 행동 하에서 실패한 것과 대비해 가장 높은 내구성을 확보했다.
• 통계적 비교를 통해 잠재게임 기반 의사결정이 강화학습 및 CBF보다 계산 효율성과 내구성 면에서 뛰어나며, 특히 예측 불가능한 교통 환경에서 두각을 나타냈다.