[논문 리뷰] Act to Reason: A Dynamic Game Theoretical Model of Driving

Cevahir Köprülü, Yıldıray Yıldız|arXiv (Cornell University)|2021. 01. 14.

Evacuation and Crowd Dynamics인용 수 2

한 줄 요약

이 논문은 강화학습을 통해 에이전트가 고정 전략 대신 행동으로서 추론 수준을 선택하는 동적 레벨-k 게임 이론 모델을 제안한다. 교통 조건에 실시간으로 적응할 수 있도록 함으로써, 특히 혼합 및 동적 교통 환경에서 고정 수준 에이전트에 비해 충돌률을 최대 60% 감소시킨다.

ABSTRACT

The focus of this paper is to propose a driver model that incorporates human reasoning levels as actions during interactions with other drivers. Different from earlier work using game theoretical human reasoning levels, we propose a dynamic approach, where the actions are the levels themselves, instead of conventional driving actions such as accelerating or braking. This results in a dynamic behavior, where the agent adapts to its environment by exploiting different behavior models as available moves to choose from, depending on the requirements of the traffic situation. The bounded rationality assumption is preserved since the selectable strategies are designed by adhering to the fact that humans are cognitively limited in their understanding and decision making. Using a highway merging scenario, it is demonstrated that the proposed dynamic approach produces more realistic outcomes compared to the conventional method that employs fixed human reasoning levels.

연구 동기 및 목표

• 고정 수준-k 게임 이론이 인간 운전사 행동을 모델링하는 데 한계가 있음을 해결하기 위해.
• 실시간 환경 관측에 기반해 추론 수준을 선택하는 동적 운전자 모델을 개발하기 위해.
• 인간의 인지적 제약을 반영하기 위해 사용 가능한 추론 수준의 수를 제한하여 유한합리성(보편적 합리성)을 유지하기 위해.
• 자율주행차 시뮬레이션에서 인간과 유사한 적응성을 모델링함으로써 현실성과 안전성을 향상시키기 위해.
• 신뢰도 함수를 사용하지 않고도 붐비는 교통 상황을 스케일러블하게 모델링할 수 있도록 하기 위해.

제안 방법

• 모델는 두 단계 강화학습 접근법을 사용한다: 먼저 레벨-1에서 레벨-3까지의 고정 수준-k 정책을 훈련시키고, 그 다음 메타 정책을 훈련시켜 추론 수준을 선택한다.
• 추론 수준(k=1,2,3)은 두 번째 단계의 RL 정책에서 행동으로 간주되어 동적 전략 전환을 가능하게 한다.
• 에이전트는 환경의 부분 관측에 기반해 추론 수준을 선택하여 믿음 함수에 의존하지 않는다.
• DQN 기반 알고리즘이 다양한 교통 조건에서 장기 보상을 최대화하도록 추론 수준 선택 정책을 훈련시킨다.
• 선택된 추론 수준에 해당하는 정책에서 운전 행동을 샘플링한다.
• 사용 가능한 추론 수준의 집합을 제한함으로써 인간의 인지 제약을 반영하여 유한합리성을 유지한다.

실험 결과

연구 질문

• RQ1 복잡한 교통 상황에서 고정 수준-k 접근법에 비해 동적 레벨-k 모델이 운전자 행동 모델링을 얼마나 향상시킬 수 있는가?
• RQ2 혼합 및 동적 교통 환경에서 추론 수준의 동적 선택이 충돌률에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 믿음 함수를 요구하지 않고 붐비는 다중 에이전트 교통 상황에 스케일러블하게 적용될 수 있는가?
• RQ4 동적 모델이 실시간 교통 상호작용에서 인간의 적응성을 더 잘 포착하는가?
• RQ5 동적 접근법은 다양한 교통 구성 조건에서 계산적으로 실현 가능하고 강건한가?

주요 결과

• 혼합 교통에서 동적 레벨-k 에이전트는 1.5%의 최저 충돌률을 기록하여 모든 고정 수준 에이전트를 앞섰다.
• 레벨-k 교통에서 고정 수준 에이전트는 자신과 같은 수준의 상대와 대결했을 때 성능이 뚜렷이 열 劣했다 (예: 레벨-1은 레벨-1 교통에서 20.7%의 충돌률 기록).
• 혼합 교통에서 레벨-1 에이전트 대비 동적 에이전트는 타입 1 충돌을 100% 감소시켰으며, 정규화된 사고 수는 0 대 89.744였다.
• 모든 사고 유형에서 동적 에이전트는 뛰어난 성능을 보였으며, 타입 2와 타입 3의 정규화된 수치는 각각 0.008과 0.033이었고, 고정 수준 에이전트보다 높은 값이었다.
• 신뢰도 함수에 의존하지 않고 직접 관측 기반 추론을 통해 붐비는 상황에 대한 확장성이 입증되었다.
• 사용 가능한 추론 수준을 유한하고 인지적으로 타당한 집합으로 제한함으로써 유한합리성이 유지된다.