[논문 리뷰] Differential Dynamic Programming for Nonlinear Dynamic Games

Bolei Di, Andrew Lamperski|arXiv (Cornell University)|2018. 09. 21.

Extremum Seeking Control Systems참고 문헌 16인용 수 7

한 줄 요약

이 논문은 비제로 합 전략 게임에 대해 미분 동적 프ogram밍(Differential Dynamic Programming, DDP)을 확장하여 각 에이전트의 가치 함수에 대해 이차 근사식을 수립하고, 이를 통해 유도된 정적 이차 게임을 반복적으로 해결한다. 이 방법은 뉴턴 방법으로부터 유도된 이차 수렴성을 유지하며, 엄밀한 나시 균형 근처에서 국소적으로 이차 수렴 속도를 보임을 증명한다.

ABSTRACT

Dynamic games arise when multiple agents with differing objectives choose control inputs to a dynamic system. Dynamic games model a wide variety of applications in economics, defense, and energy systems. However, compared to single-agent control problems, the computational methods for dynamic games are relatively limited. As in the single-agent case, only very specialized dynamic games can be solved exactly, and so approximation algorithms are required. This paper extends the differential dynamic programming algorithm from single-agent control to the case of non-zero sum full-information dynamic games. The method works by computing quadratic approximations to the dynamic programming equations. The approximation results in static quadratic games which are solved recursively. Convergence is proved by showing that the algorithm iterates sufficiently close to iterates of Newton's method to inherit its convergence properties. A numerical example is provided.

연구 동기 및 목표

• 다수의 에이전트가 상충하는 목표를 가진 비선형 동적 게임을 효율적으로 풀 수 있는 계산 방법의 부족을 해결한다.
• 원래 단일 에이전트 최적 제어를 위해 설계된 미분 동적 프로그래밍(DDP) 프레임워크를 비제로 합 동적 게임으로 확장한다.
• 유한 시간 영역 내에서 결정론적 비선형 동적 게임에서 국소 나시 균형을 계산하는 재귀적 알고리즘을 개발한다.
• 동적 게임의 맥락에서 DDP 반복이 뉴턴 방법의 반복과 관련이 있음을 보여주어 알고리즘의 이차 수렴성을 증명한다.
• 비선형 소유주-개 추격 문제에 대해 수치적 검증을 통해 수렴 행동을 확인한다.

제안 방법

• N명의 에이전트가 각각의 비용 함수를 최소화하도록 하는 유한 시간 영역 최적 제어 문제로 동적 게임을 수립하며, 각 비용 함수는 모든 에이전트의 제어 입력에 의존한다.
• 각 시간 단계에서 각 에이전트의 비용 함수와 가치 함수에 대해 이차 근사를 적용하여 게임 동역학의 국소 이차 근사식을 도출한다.
• 각 반복 단계에서 근사된 비용 함수와 동역학을 기반으로 정적 이차 게임을 구성하고, 역방향 전파에서 결합된 린카티 유사 방정식을 사용하여 해결한다.
• 계산된 피드백 정책과 기울기를 기반으로 전방 전파를 수행하여 제어 궤적을 업데이트한다.
• DDP 반복이 나시 균형의 필요 조건을 위한 뉴턴 방법 반복과 밀접하게 일치함을 보여줌으로써 수렴성을 확립한다.
• 재귀적 뉴턴 유사 업데이트와 오차 전파 분석을 통해 DDP 반복이 엄밀한 국소 나시 균형 근처에서 이차 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 단일 에이전트 최적 제어에서 효과적인 DDP 알고리즘이 다수의 에이전트가 존재하고 목표가 상충하는 비제로 합 동적 게임으로 일반화될 수 있는가?
• RQ2 가치 함수의 이차 근사를 어떻게 활용하여 비선형 동적 게임에서 나시 균형을 계산하는 실용적인 반복 알고리즘을 구성할 수 있는가?
• RQ3 제안된 DDP 기반 알고리즘이 국소 나시 균형으로 수렴하기 위한 조건은 무엇인가?
• RQ4 동적 게임의 맥락에서 DDP 반복이 뉴턴 방법 반복과 얼마나 유사한가?
• RQ5 비선형 동적 게임의 실제 예제, 특히 에이전트 간 비선형 결합이 존재하는 경우 알고리즘의 성능은 어떠한가?

주요 결과

• 제안된 DDP 알고리즘은 엄밀한 국소 나시 균형 근처에서 뉴턴 방법의 성질을 이어받아 이차 수렴 속도를 보인다.
• DDP와 뉴턴 반복 간의 차이는 $ O( ho^2) $로 유계이며, 여기서 $ \rho $ 는 균형에서의 거리 측정치이므로 빠른 국소 수렴을 보장한다.
• 1차원 소유주-개 동적 게임에 대한 수치 결과는 양 측면의 누적 비용이 반복 과정에서 감소하고, 현재 입력과 균형 입력 간의 2-norm 오차가 로그 척도에서 선형 이하로 감소함을 보여주며, 이는 이차 수렴의 증거이다.
• 알고리즘은 개가 소유주와 가까이 머무르도록 학습하고, 소유주는 목표 지점에 도달하기 위해 입력을 조정하는 등 협동 행동을 성공적으로 계산한다.
• 이 방법은 모든 에이전트의 행동을 포함한 완전한 정보와 명시적 모델 지식이 필요하므로, 정적 상태 방법과 달리 유한 시간 영역 균형 계산이 가능하다.
• 원칙적으로 확장 가능하며, 확률적 게임 및 정보가 불완전한 문제로의 확장 가능성은 있으나, 대규모 수치 성능은 아직 탐색이 필요하다.