[논문 리뷰] The Computation of Approximate Generalized Feedback Nash Equilibria

Forrest Laine, David Fridovich-Keil외 2명|arXiv (Cornell University)|2021. 01. 08.

Advanced Control Systems Optimization참고 문헌 21인용 수 7

한 줄 요약

이 논문은 제약 조건이 있는 비선형 동적 게임에서 일반화된 피드백 내쉬 균형(GFNE)의 계산 가능하고 실용적인 근사치인 일반화된 피드백 준내쉬 균형(GFQNE)을 도입한다. 순차적 선형-이차 게임(Sequential Linear-Quadratic Game) 방법을 제안하여 각 반복에서 국소적 LQ 근사를 반복적으로 풀며, 비선형이고 상태 및 입력 제약 조건이 있는 게임에서 피드백 균형을 효율적으로 계산할 수 있도록 한다. 이는 자율 주행 차량의 주행 시나리오에서 검증되었다.

ABSTRACT

We present the concept of a Generalized Feedback Nash Equilibrium (GFNE) in dynamic games, extending the Feedback Nash Equilibrium concept to games in which players are subject to state and input constraints. We formalize necessary and sufficient conditions for (local) GFNE solutions at the trajectory level, which enable the development of efficient numerical methods for their computation. Specifically, we propose a Newton-style method for finding game trajectories which satisfy necessary conditions for an equilibrium, which can then be checked against sufficiency conditions. We show that the evaluation of the necessary conditions in general requires computing a series of nested, implicitly-defined derivatives, which quickly becomes intractable. To this end, we introduce an approximation to the necessary conditions which is amenable to efficient evaluation, and in turn, computation of solutions. We term the solutions to the approximate necessary conditions Generalized Feedback Quasi-Nash Equilibria (GFQNE), and we introduce numerical methods for their computation. In particular, we develop a Sequential Linear-Quadratic Game approach, in which a LQ local approximation of the game is solved at each iteration. The development of this method relies on the ability to compute a GFNE to inequality- and equality-constrained LQ games, and therefore specific methods for the solution of these special cases are developed in detail. We demonstrate the effectiveness of the proposed solution approach on a dynamic game arising in an autonomous driving application.

연구 동기 및 목표

• 일반적인 상태 및 입력 제약 조건이 있는 비선형 동적 게임에서 피드백 내쉬 균형을 계산하기 위한 수치적 방법의 부족을 해결하기 위해.
• 내부적으로 정의된 도함수를 포함한 중첩된 도함수로 인해 GFNE에 대한 정확한 필요 조건을 계산하는 데 있어 비가역성 문제를 극복하기 위해.
• 동적 게임의 피드백 구조를 유지하면서도 효율적인 비모수적 접근법을 개발하여 근사 균형을 계산하기 위해.
• 안전성 및 제약 조건 이행이 핵심적인 실세계 시스템, 예를 들어 자율 주행 차량과 같은 분야에 피드백 균형을 실용적으로 적용할 수 있도록 하기 위해.
• 일반적인 제약 조건이 있는 동적 게임에 적용 가능한 확장 가능하고 반복적인 해법 방법의 기초를 마련하기 위해.

제안 방법

• 계산 비가역성을 피하기 위해 파rameterized GFNE 공식화의 문제를 피하기 위해 비모수적이고 암묵적인 정책 공식화를 도입한다.
• 정확한 도함수 대신 정책 준기울기 근사치를 사용하여 GFNE에 대한 필요 조건을 근사화한다.
• 일반화된 피드백 준내쉬 균형(GFQNE)을 정의하며, 이는 근사된 필요 조건의 해로서 효율적인 계산을 가능하게 한다.
• 각 반복에서 게임의 국소적 LQ 근사를 푸는 순차적 선형-이차 게임(SLQG) 방법을 개발한다.
• 등식 및 부등식 제약 조건이 있는 LQ 게임에 특화된 해법 기법을 설계하여 SLQG 반복의 핵심을 형성한다.
• GFNE의 필요 조건을 해결하기 위해 뉴턴 스타일의 방법을 사용한 후, 균형 후보의 타당성을 검증하기 위해 충분성 검증을 수행한다.

(a) $\sigma_{polite}=0$

실험 결과

연구 질문

• RQ1 비선형 동적 게임에서 상태 및 입력 제약 조건이 모두 존재하는 상황에서 피드백 내쉬 균형을 어떻게 효율적으로 계산할 수 있는가?
• RQ2 GFNE에 대한 필요 조건에 대한 비가역적인 중첩 도함수를 피할 수 있는 타당한 근사치는 무엇인가?
• RQ3 순차적 LQ 근사 방법이 제약 조건이 있는 동적 게임에서 의미 있는 피드백 균형으로 수렴할 수 있는가?
• RQ4 GFQNE의 제안된 공식화는 계산 가능성과 해의 품질 측면에서 정확한 GFNE와 비교해 어떻게 다른가?
• RQ5 이 방법은 안전성 및 제약 조건 요구 사항이 있는 실세계 자율 주행 차량 간 협업 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 GFQNE 공식화는 이전에 방법이 없었던 비선형이고 제약 조건이 있는 동적 게임에서 피드백 균형을 효율적으로 계산할 수 있도록 한다.
• 순차적 선형-이차 게임 방법은 세 대의 자율 주행 차량이 참여하는 동적 차선 변경 시나리오에서 성공적으로 해를 계산하였다.
• 협동적 또는 경쟁적 목표에 적응 가능한 유연성을 보이며, 다양한 친절도 계수(σ_polite = 0 및 5)에 대해 강건성을 입증하였다.
• GFQNE 해는 최소 간격 거리(d_min = 3.3) 및 차선 유지 요구 사항을 포함한 모든 상태 및 입력 제약 조건을 충족한다.
• 국소적 LQ 근사를 사용하여 유한한 반복 수 내에 수렴하는 등 계산이 효율적이다.
• 이 방법은 변화하는 게임 상태에 반응하는 피드백 정책을 계산할 수 있게 하여, 동적 환경에서 반응적이고 적응적인 행동을 지원한다.

(b) $\sigma_{polite}=5$