[논문 리뷰] Adaptive Game-Theoretic Decision Making for Autonomous Vehicle Control at Roundabouts

Ran Tian, Sisi Li외 4명|arXiv (Cornell University)|2018. 10. 01.

Traffic control and management참고 문헌 9인용 수 11

한 줄 요약

이 논문은 원형 교차로에서 자율주행차의 적응형 게임이론적 의사결정 알고리즘을 제안하며, 자동차와 상대 운전자의 상호작용을 동적 운전자 유형 추정 프레임워크를 통해 모델링한다. 컨트롤러는 온라인 신뢰도 갱신과 함수 근사 기법을 사용하여 실시간으로 안전하고 효율적인 주행을 가능하게 하며, 시뮬레이션에서는 93.4%의 성공률을, 인간 운전자와의 상호작용에서는 88.6%의 성공률을 기록하였다.

ABSTRACT

In this paper, we propose a decision making algorithm for autonomous vehicle control at a roundabout intersection. The algorithm is based on a game-theoretic model representing the interactions between the ego vehicle and an opponent vehicle, and adapts to an online estimated driver type of the opponent vehicle. Simulation results are reported.

연구 동기 및 목표

• 다른 운전자와의 전략적 상호작용을 고려한 원형 교차로에서 자율주행차를 위한 의사결정 프레임워크를 개발하는 것.
• 다양한 운전자 행동, 예를 들어 보수적 및 공격적인 유형을 반영하는 게임이론적 접근을 통해 차량 간 상호작용을 모델링하는 것.
• 관찰된 행동 기반으로 베이지안 추론을 사용해 온라인으로 상대 운전자 유형을 추정함으로써 실시간 적응을 가능하게 하는 것.
• 복잡한 최적화 문제를 런타임에 해결하지 않기 위해 함수 근사를 사용해 컨트롤러를 효율적으로 구현하는 것.
• 모의 환경과 인간이 참여하는 시뮬레이션 환경에서 컨트롤러 성능을 검증하는 것.

제안 방법

• 차량 운동학은 위치, 속도, 요행, 요속도를 상태 변수로 사용하는 이산 시간 시스템으로 모델링된다.
• 후행-수평 최적 제어 프레임워크를 사용하며, 누적 보상은 선형 보상 함수 $ R(t) = \mathbf{w}^\intercal \mathbf{\Phi}(t) $ 를 통해 기능들의 가중합으로 계산된다.
• 두 유형의 운전자 모델을 사용한다: 유형-1(보수적)은 우선권을 양보하고, 유형-2(공격적)는 먼저 통과하려고 시도한다.
• 컨트롤러는 상대 운전자 유형에 대한 신뢰도 상태 $ \mathbb{P}^{(2)}(t) $ 를 유지하며, 관찰된 행동 기반으로 베이지안 추론을 사용해 갱신한다.
• 신경망을 통한 함수 근사를 사용해 가치 함수와 정책을 온라인으로 추정함으로써 실시간 계산을 가능하게 한다.
• 추정된 신뢰도와 보상 함수를 사용해 유한 수평 최적화 문제를 풀어 행동을 선택한다.

실험 결과

연구 질문

• RQ1 이질적인 운전자 유형과 상호작용할 때 자율주행차는 어떻게 안전하고 효율적으로 원형 교차로를 주행할 수 있는가?
• RQ2 온라인 운전자 유형 추정을 포함한 게임이론적 모델은 다중 차량 원형 교차로 상황에서의 의사결정을 향상시킬 수 있는가?
• RQ3 모의 환경과 인간 운전차량과의 상호작용에서, 적응형 컨트롤러의 충돌 회피 능력과 성공률은 어떠한가?
• RQ4 함수 근사는 복잡한 게임이론적 컨트롤러의 실시간 구현을 얼마나 효과적으로 가능하게 하는가?
• RQ5 상대 운전자 유형에 대한 신뢰도 갱신은 동적 교통 상황에서 자동차의 전략적 의사결정에 어떻게 영향을 미치는가?

주요 결과

• 랜덤으로 생성된 초기 조건과 상대 운전자 유형을 가진 1,000회의 시뮬레이션 런에서 컨트롤러는 충돌, 차선 이탈, 정체를 피하며 93.4%의 성공률을 기록하였다.
• 7명의 운영자가 참여한 인간-시뮬레이션 상호작용 실험에서 컨트롤러는 88.6%의 성공률을 기록하였으며, 실제 주행의 변동성에 대한 강건성을 입증하였다.
• 공격적(유형-2) 운전자들이 먼저 통과하려고 할 경우, 컨트롤러는 100%의 정확도로 이를 식별하였고, 충돌을 피하기 위해 양보하는 조치를 취하였다.
• 초기에는 공격적으로 행동했지만 이후 감속한 인간 운전자에 대해서는 컨트롤러가 신뢰도를 유형-1로 갱신하고, 먼저 통과하기 위해 가속을 가했다. 이는 적응형 반응성을 보여주었다.
• 상태 추정, 신뢰도 갱신, 행동 생성을 포함한 전체 제어 사이클의 평균 계산 시간은 GPU 지원이 있는 표준 랩탑에서 34.1 ms였다.
• 신뢰도 갱신 메커니즘 $ \mathbb{P}^{(2)}(t) $ 는 상대 운전자 행동의 변화를 성공적으로 추적하였으며, 시뮬레이션 궤적에서 명확한 수렴 패턴이 관찰되었다.