[논문 리뷰] Numerical approximation of Nash equilibria for a class of non-cooperative differential games

Simone Cacace, Emiliano Cristiani외 1명|arXiv (Cornell University)|2011. 09. 16.

Economic theories and models참고 문헌 13인용 수 7

한 줄 요약

이 논문은 동적 프rogramming과 고정점 반복을 통해 정적 해밀턴-자비 방정식의 연립방정식을 풀어 다중 플레이어 비협력 미분게임에서 내쉬 균형을 수치적으로 근사하는 새로운 수치적 방법을 제안한다. 이 방법은 일차원 및 이차원 테스트 케이스에서 수렴성을 보이며, 불량한 설정에서도 강건성을 입증하지만, 고정점이 존재하지 않을 경우 수렴 실패가 관찰되어, 문제의 구조에 대한 민감성을 드러낸다.

ABSTRACT

In this paper we propose a numerical method to obtain an approximation of Nash equilibria for multi-player non-cooperative games with a special structure. We consider the infinite horizon problem in a case which leads to a system of Hamilton-Jacobi equations. The numerical method is based on the Dynamic Programming Principle for every equation and on a global fixed point iteration. We present the numerical solutions of some two-player games in one and two dimensions. The paper has an experimental nature, but some features and properties of the approximation scheme are discussed.

연구 동기 및 목표

• 무한 시간 할인 비용을 가진 비협력 미분게임에서 내쉬 균형을 근사하는 수치적 방법을 개발하는 것.
• 이전에 제로섬 게임에 사용된 동적 프로그래밍 기반 근사 기법을 제로섬이 아닌 다중 플레이어 미분게임으로 확장하는 것.
• 일차원 및 이차원에서의 수치 실험을 통해 제안된 방법의 수렴성과 안정성을 분석하는 것.
• 불량한 조건이나 고정점 함수의 비연속성 하에서의 방법의 거동을 조사하는 것.
• 해밀턴-자비 시스템을 사용한 내쉬 균형에 대한 첫 번째 계산 프레임워크를 제공하는 것.

제안 방법

• 각 플레이어의 가치 함수에 동적 프로그래밍 원리를 적용하여 일阶 해밀턴-자비 방정식의 연립방정식을 도출한다.
• 공간 및 시간에 대해 반연속 및 전연속 유한차분 스킴을 사용하여 해밀턴-자비 방정식을 이산화한다.
• 모든 가치 함수를 동시에 갱신하기 위해 전역 고정점 반복을 사용한다.
• 일정한 초기 추측값을 사용하고, 수렴이 이루어질 때까지 반복적으로 해를 개선한다.
• 알고리즘은 가우스-자이델 유형의 갱신 전략을 구현하며, 수렴 여부는 고정점 함수의 자코비안의 무한노름을 통해 모니터링한다.
• 해석적 해가 알려진 문제와 변형 및 비연속성을 포함한 케이스에 대해 시험하여 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 비협력 미분게임에서 내쉬 균형을 계산하기 위해 동적 프로그래밍 기반 수치적 방법을 어떻게 적응시킬 수 있는가?
• RQ2 고정점 반복은 다중 플레이어 게임의 연립 해밀턴-자비 방정식을 해결하는 데 어떻게 작용하는가?
• RQ3 시스템에 비연속성 또는 불량한 설정이 존재할 경우, 이 방법의 수렴 성질은 어떠한가?
• RQ4 가치 함수가 유일하지 않거나 다수의 고정점이 존재할 경우, 방법은 어떻게 행동하는가?
• RQ5 이중 차원 설정에서 비볼록 또는 결합된 동역학을 다룰 수 있는가?

주요 결과

• 테스트 1에서는 분석적 해가 알려진 상황에서 상수 초깃값 150을 사용해 정확한 해로 수렴하는 것으로 확인되었다.
• 테스트 2에서는 δ = 2의 편향이 가해진 경우에도 합리적인 근사해로 수렴하였으며, 비편향 케이스와 유사한 해를 보였다.
• 테스트 3에서는 가치 함수 U1과 U2가 단위 구 내에서 대칭적이며 0과 같고, 외부로 균일하게 증가하는 것으로 나타났다. 이는 문제의 대칭성에 부합한다.
• 고정점 함수의 자코비안의 무한노름은 1/(1+h) 이하로 유한하며, 이는 국소 수축성을 나타내며 반복 과정에서 안정성을 유지한다.
• 테스트 4에서는 고정점이 존재하지 않는 일부 노드에서 알고리즘이 수렴하지 못했고, 진동하는 행동을 보였다.
• 비연속적이고 조각별 수축성인 맵이 존재하는 노드에서는 알고리즘이 두 고정점(P 및 Q) 중 하나로 수렴하였으며, 이는 초깃값과 국소 동역학에 민감함을 보였다.