[논문 리뷰] Towards a Systematic Computational Framework for Modeling Multi-Agent Decision-Making at Micro Level for Smart Vehicles in a Smart World

Qi Dai, Xunnong Xu외 3명|arXiv (Cornell University)|2020. 09. 25.

Traffic control and management참고 문헌 54인용 수 17

한 줄 요약

이 논문은 위험 프리미엄을 유틸리티 함수에 통합한 결정론적 마르코프 게임를 사용하여 자율주행차량과 인간 운전 차량의 마이크로 수준 의사결정을 모델링하기 위한 계산적으로 효율적인 게임이론적 프레임워크를 제안한다. 유한한 앞서보기 예측을 갖춘 새로운 적응형 최적화 방법을 도입하여 계산 비용을 크게 줄이고 근사 나이시 균형 행동을 달성하였으며, 현실적인 고속도로 합류 시뮬레이션을 통해 나이시 균형 솔루션과 강한 행동 유사성을 입증하였다.

ABSTRACT

We propose a multi-agent based computational framework for modeling decision-making and strategic interaction at micro level for smart vehicles in a smart world. The concepts of Markov game and best response dynamics are heavily leveraged. Our aim is to make the framework conceptually sound and computationally practical for a range of realistic applications, including micro path planning for autonomous vehicles. To this end, we first convert the would-be stochastic game problem into a closely related deterministic one by introducing risk premium in the utility function for each individual agent. We show how the sub-game perfect Nash equilibrium of the simplified deterministic game can be solved by an algorithm based on best response dynamics. In order to better model human driving behaviors with bounded rationality, we seek to further simplify the solution concept by replacing the Nash equilibrium condition with a heuristic and adaptive optimization with finite look-ahead anticipation. In addition, the algorithm corresponding to the new solution concept drastically improves the computational efficiency. To demonstrate how our approach can be applied to realistic traffic settings, we conduct a simulation experiment: to derive merging and yielding behaviors on a double-lane highway with an unexpected barrier. Despite assumption differences involved in the two solution concepts, the derived numerical solutions show that the endogenized driving behaviors are very similar. We also briefly comment on how the proposed framework can be further extended in a number of directions in our forthcoming work, such as behavioral calibration using real traffic video data, computational mechanism design for traffic policy optimization, and so on.

연구 동기 및 목표

• 스마트 차량에서 마이크로 수준의 다중 에이전트 의사결정을 체계적이고 계산적으로 실용적인 프레임워크로 모델링하기 위해 개발한다.
• 나이시 균형의 한계—특히 높은 계산 비용과 강한 이성성 가정—을 해결하기 위해 유한한 앞서보기 예측을 갖춘 히우리스틱적이고 적응형 최적화 방법을 도입한다.
• 해결 개념을 단순화함으로써 자율주행차량의 실시간 마이크로 경로 계획을 가능하게 하되, 현실적인 주행 행동을 유지한다.
• 의도치 않은 장애물이 있는 双차선 고속도로 환경에서의 협동 합류 및 양보 행동을 모델링하는 데 프레임워크의 효과성을 입증한다.
• 혼합 교통 환경에서의 행동 캘리브레이션, 교통 정책 최적화, 시스템 수준의 조율을 위한 향후 응용을 위한 기반을 마련한다.

제안 방법

• 상태 추적 복잡성을 줄이기 위해 각 에이전트의 유틸리티 함수에 위험 프리미엄을 통합하여 확률적 게임을 결정론적 게임으로 변환한다.
• 단순화된 결정론적 게임을 최적 반응 역학을 사용하여 하위 게임 완전 나이시 균형을 계산한다.
• 나이시 균형의 비현실적인 이성성 가정을 완화하기 위해 유한한 앞서보기 예측을 갖춘 적응형 최적화 기반의 새로운 해법 개념을 제안한다.
• 다중 균형 문제를 피하기 위해 적응형Seek 알고리즘에서 격자 탐색을 사용하여 결정론적으로 최적의 동작 시퀀스를 계산한다.
• 선형성과 선형성의 비대칭성을 고려하여 상호작용을 대칭적으로 모델링하고, 선호도, 의도, 초기 조건에서의 명시적 이질성을 반영한다.
• 다양한 초기 조건 하에서 이중 차량 합류 시나리오의 시뮬레이션을 통해 나이시 균형과 적응형 최적화의 결과를 비교함으로써 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 스마트 월드 내 자율주행차량의 마이크로 수준 의사결정을 위한 계산적으로 효율적이면서도 개념적으로 타당한 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 유한한 앞서보기 예측을 갖춘 히우리스틱적 적응형 최적화 방법은 계산 부담을 줄이면서도 얼마나 나이시 균형 행동을 근사할 수 있는가?
• RQ3 실제 교통 상황에서 나이시 균형과 적응형 최적화 해법 개념 간에 유도된 주행 행동—합류 및 양보—는 얼마나 유사한가?
• RQ4 모델 파라미터, 유틸리티 가중치, 또는 상태 진동에서의 작은 랜덤 노이즈와 같은 미세한 교란에 대해 제안된 프레임워크는 얼마나 강건한가?
• RQ5 이 프레임워크는 어떻게 확장되어 혼합 교통 환경에서의 행동 캘리브레이션, 교통 규칙 최적화, 시스템 수준의 조율을 지원할 수 있는가?

주요 결과

• 유한한 앞서보기 예측을 갖춘 히우리스틱적 적응형 최적화 기반의 adaptiveSeek 알고리즘은 하위 게임 완전 나이시 균형 솔루션에서 도출된 것과 시각적 및 반정량적으로 유사한 동작 시퀀스와 차량 경로를 달성하였다.
• 해법 개념과 가정이 다름에도 불구하고, front merge와 rear merge와 같은 내재된 주행 행동이 betaNash와 adaptiveSeek 방법 간에 놀랍도록 일관된 일치를 보였다.
• adaptiveSeek 방법은 계산 부담을 크게 줄였고, 작은 시간 간격으로 이중 통합된 동작 시퀀스를 통해 매끄럽고 현실적인 차량 경로를 유지하였다.
• adaptiveSeek 알고리즘은 다중 균형 문제 없이 결정론적 해를 도출하였으며, 이는 확률적 접근에 비해 뚜렷한 이점이었다.
• 양쪽 방법의 해는 미세한 파rameter 변동과 상태 진동에서의 작은 랜덤 노이즈에 대해 모두 강건성을 보였다.
• 프레임워크는 뜻하지 않은 장애물이 있는 이중 차선 고속도로 환경에서의 협동 합류 및 양보 행동을 성공적으로 모델링하여 실제 경로 계획에의 실용적 적용 가능성을 입증하였다.