[논문 리뷰] First-Order Algorithms for Constrained Nonlinear Dynamic Games

Bolei Di, Andrew Lamperski|arXiv (Cornell University)|2020. 01. 07.

Optimization and Variational Analysis참고 문헌 21인용 수 4

한 줄 요약

이 논문은 선형 수렴 속도를 갖는 일阶 알고리즘—투영된 경사하강법과 Douglas-Rachford 분할법—을 제안하여 제약 조건이 있는 비선형 동적 게임에서 개방 루프 내쉬 균형(OLNE)을 계산한다. 단계별 뉴턴 방법을 확장하여 국소 피드백 정책을 도출하고, 선형 동역학과 다각형 제약 조건 하에서 이 정책이 근사적인 피드백 내쉬 균형을 제공함을 보여, 결합된 제약 조건이 있는 다중 에이전트 제어 문제를 효율적으로 해결할 수 있다.

ABSTRACT

This paper presents algorithms for non-zero sum nonlinear constrained dynamic games with full information. Such problems emerge when multiple players with action constraints and differing objectives interact with the same dynamic system. They model a wide range of applications including economics, defense, and energy systems. We show how to exploit the temporal structure in projected gradient and Douglas-Rachford (DR) splitting methods. The resulting algorithms converge locally to open-loop Nash equilibria (OLNE) at linear rates. Furthermore, we extend stagewise Newton method to find a local feedback policy around an OLNE. In the of linear dynamics and polyhedral constraints, we show that this local feedback controller is an approximated feedback Nash equilibrium (FNE). Numerical examples are provided.

연구 동기 및 목표

• 완전한 정보 하에서 제약 조건이 있는 비영점합 동적 게임을 해결하기 위한 확장 가능한 수치 알고리즘을 개발하는 것.
• 일阶 방법의 시간적 구조를 활용하여 단계당 O(T) 반복 복잡도를 달성하는 것, 여기서 T는 수평 길이이다.
• 단계별 뉴턴 방법을 활용해 개방 루프 내쉬 균형(OLNE) 계산을 국소 피드백 전략으로 확장하는 것.
• 특히 선형 동역학과 다각형 제약 조건 하에서 결과 피드백 정책이 피드백 내쉬 균형(FNE)을 얼마나 잘 근사하는지 조건을 설정하는 것.
• 노이즈가 있는 생물량 관리 게임과 3명의 플레이어가 참여하는 LQ 수렴 문제를 포함한 수치 예제를 통해 수렴성과 성능을 시연하는 것.

제안 방법

• 시간적 구조를 활용하여 투영된 경사하강법을 제약 조건이 있는 동적 게임에 적응시키며, 연속적인 경사하강 단계와 공동 행동 제약 조건에 대한 투영을 번갈아 적용함으로써 O(T) 복잡도를 달성한다.
• Dou플러스-라흐포드 분할법을 적용하여 문제를 제약 조건이 없는 게임 하위문제와 제약 조건 투영 하위문제로 분해하며, 동적 프rogramming을 통해 각각 O(T) 시간 내에 해결할 수 있다.
• 계산된 OLNE 궤적 주변에서 국소 피드백 정책을 계산하기 위해 단계별 뉴턴 방법을 사용하며, 이차 구조를 활용해 국소 최적성을 확보한다.
• 선형 동역학과 다각형 제약 조건 하에서, 결과 피드백 정책이 O(ε²)-근사 피드백 내쉬 균형(FNE)임을 증명한다.
• Dou플러스-라흐포드에서 한 하위문제는 단계별 뉴턴을 통해 제약 조건이 없는 게임을 해결하고, 다른 하위문제에서는 행동을 유한 집합에 투영한다.
• 안정적인 수렴을 보장하기 위해 선형 검색과 적응형 스텝 크기 규칙을 활용해 두 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 투영된 경사하강법과 Douglas-Rachford 분할법과 같은 일阶 방법이 시간적 구조를 갖는 제약 조건이 있는 비선형 동적 게임에 효율적으로 적용될 수 있는가?
• RQ2 이러한 알고리즘이 제약 조건이 있는 동적 게임에 적용되었을 때 수렴 속도는 어떻게 되며, 수평 길이에 대해 선형 복잡도를 유지할 수 있는가?
• RQ3 개방 루프 내쉬 균형(OLNE) 해를 기반으로 국소 피드백 정책을 계산하여 피드백 내쉬 균형(FNE)을 근사할 수 있는가?
• RQ4 특히 선형 동역학과 다각형 제약 조건 하에서, 계산된 피드백 정책이 유효한 근사 FNE를 제공하는 조건은 무엇인가?
• RQ5 이러한 알고리즘이 노이즈가 있는 생물량 게임과 다중 에이전트 수렴 작업과 같은 벤치마크 문제에서 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 투영된 경사하강법과 Douglas-Rachford 알고리즘은 선형 수렴 속도로 국소적으로 개방 루프 내쉬 균형(OLNE)에 수렴하며, 단계당 O(T) 반복 복잡도를 갖는다.
• 볼록 제약 조건이 있는 선형-제곱수렴 문제에서 Douglas-Rachford 방법은 10,000회 반복 동안 안정적인 수렴을 보였으며, 수렴점이 최종 OLNE로 수렴하는 경향을 보였다.
• 행동의 노름은 전체 반복 동안 u_max = 2 이내로 유지되어 제약 조건 이행이 확인되었다.
• 모든 세 플레이어의 누적 비용이 반복이 진행됨에 따라 감소하여, 저비용 균형으로 수렴하고 있음을 시사한다.
• 단계별 뉴턴 방법을 통해 유도된 국소 피드백 정책은 노이즈가 있는 시스템에서 더 부드러운 생물량 궤적을 제공하여 OLNE 경로에서의 이탈을 줄였다.
• 선형 동역학과 다각형 제약 조건 조건 하에서 피드백 정책이 O(ε²)-근사 피드백 내쉬 균형임을 증명하여 실용적 사용의 타당성을 입증하였다.