[논문 리뷰] Learning Parametric Closed-Loop Policies for Markov Potential Games

Sergio Valcárcel Macua, Javier Zazo외 1명|arXiv (Cornell University)|2018. 02. 03.

Reinforcement Learning in Robotics참고 문헌 9인용 수 7

한 줄 요약

이 논문은 연속 상태, 연속 행동, 결합된 제약 조건을 가진 마르코프 퍼텐셜 게임(MPG)에서 매개변수화된 닫힌 루프 정책을 학습하기 위한 새로운 방법을 제안한다. 문제를 단일 최적 제어 문제(OCP)로 재구성함으로써, 복잡한 비볼록 보상 함수와 신경망 정책을 포함한 깊이 강화 학습을 통해 닫힌 루프 내쉬 균형을 효율적으로 근사할 수 있게 되었으며, 이는 이전의 개방 루프 또는 변분 접근 방식의 한계를 극복한다.

ABSTRACT

Multiagent systems where agents interact among themselves and with a stochastic environment can be formalized as stochastic games. We study a subclass named Markov potential games (MPGs) that appear often in economic and engineering applications when the agents share a common resource. We consider MPGs with continuous state-action variables, coupled constraints and nonconvex rewards. Previous analysis followed a variational approach that is only valid for very simple cases (convex rewards, invertible dynamics, and no coupled constraints); or considered deterministic dynamics and provided open-loop (OL) analysis, studying strategies that consist in predefined action sequences, which are not optimal for stochastic environments. We present a closed-loop (CL) analysis for MPGs and consider parametric policies that depend on the current state. We provide easily verifiable, sufficient and necessary conditions for a stochastic game to be an MPG, even for complex parametric functions (e.g., deep neural networks); and show that a closed-loop Nash equilibrium (NE) can be found (or at least approximated) by solving a related optimal control problem (OCP). This is useful since solving an OCP--which is a single-objective problem--is usually much simpler than solving the original set of coupled OCPs that form the game--which is a multiobjective control problem. This is a considerable improvement over the previously standard approach for the CL analysis of MPGs, which gives no approximate solution if no NE belongs to the chosen parametric family, and which is practical only for simple parametric forms. We illustrate the theoretical contributions with an example by applying our approach to a noncooperative communications engineering game. We then solve the game with a deep reinforcement learning algorithm that learns policies that closely approximates an exact variational NE of the game.

연구 동기 및 목표

• 연속 상태, 연속 행동, 결합된 제약 조건을 가진 마르코프 퍼텐셜 게임(MPG)에서 닫힌 루프 내쉬 균형(CL-NE)을 계산하거나 근사하는 데 실용적인 방법이 부족한 문제를 해결한다.
• 이전의 변분 및 개방 루프 분석은 볼록 보상 또는 간단한 매개변수 형태에 국한되어 있었지만, 이를 일반적인 비볼록 및 복잡한 매개변수 정책(예: 딥 신경망)으로 확장한다.
• 비볼록성과 복잡한 정책 매개변수화 조건 하에서도, 확률적 게임이 MPG임을 보장하는 충분조건 및 필요조건을 제공한다.
• 단일 최적 제어 문제(OCP)를 해결하면 닫힌 루프 내쉬 균형(CL-NE)과 동치인 해를 도출할 수 있으며, 이는 원래의 결합된 다목적 OCP 시스템을 크게 단순화한다.
• 실세계 통신 공 ing 엔지니어링 게임에서 제안된 방법을 적용하여, 깊이 강화 학습을 통해 근사 최적 균형에 수렴하는 것을 보여준다.

제안 방법

• 각 에이전트의 정책가 현재 상태에 따라 결정되며, 매개변수 벡터 $ w_k $로 매개변수화된 매개변수화된 닫힌 루프 게임으로 MPG를 재구성한다.
• 매개변수화된 닫힌 루프 내쉬 균형(PCL-NE)의 개념을 도입하며, 이는 어떤 에이전트도 단독으로 전략을 변경해도 이득을 볼 수 없는 정책 벡터 $ w^* $로 정의된다.
• 일阶 최적성 조건을 활용하여, 비볼록 보상과 복잡한 매개변수 함수 조건 하에서도 MPG가 되기 위한 필요 및 충분 조건을 유도한다.
• 퍼텐셜 게임의 구조를 활용하여 게임의 결합된 다목적 OCP를 단일 OCP로 재구성함으로써, 표준 최적 제어 솔버를 통해 효율적인 해를 도출할 수 있도록 한다.
• 정책 네트워크 아키텍처가 높은 표현력을 가질 수 있도록 함으로써, 깊이 강화 학습을 사용해 PCL-NE를 근사하는 정책을 훈련한다(예: 딥 신경망).
• 비협력적 통신 공 엔지니어링 게임에 이 방법을 적용하여, 실증적 평가를 통해 접근 방식의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 연속 변수와 결합된 제약 조건을 가진 확률적 게임이 비볼록 보상과 복잡한 정책 조건 하에서도 마르코프 퍼텐셜 게임(MPG)임을 검증 가능한 충분 및 필수 조건으로 도출할 수 있는가?
• RQ2 특정 정책 가족 내에 정확한 내쉬 균형이 포함되어 있지 않은 경우에도, 매개변수 정책을 사용해 닫힌 루프 내쉬 균형(CL-NE)을 근사할 수 있는가?
• RQ3 MPG의 결합된 다목적 OCP를 단일 OCP로 재구성함으로써, 원래의 결합된 시스템을 풀 때보다 더 효율적이고 확장 가능한 균형 계산이 가능한가?
• RQ4 딥 강화 학습이 복잡한 실세계 MPG 응용에서 진정한 변분 내쉬 균형을 밀도적으로 근사하는 정책을 효과적으로 학습할 수 있는가?
• RQ5 확률적이고 제약 조건이 있는 환경에서, 기존의 개방 루프 또는 변분 접근 방식에 비해 성능과 내성 면에서 제안된 방법이 어떻게 우월한가?

주요 결과

• 논문은 비볼록 보상과 복잡한 정책(예: 딥 신경망) 조건 하에서도, 확률적 게임이 MPG임을 쉽게 검증할 수 있는 충분 및 필수 조건을 설정한다.
• 닫힌 루프 내쉬 균형(CL-NE)은 원래의 결합된 다목적 OCP 시스템을 푸는 것보다 계산이 더 간단한 단일 최적 제어 문제(OCP)를 풀어도 도출 가능하며, 이는 균형을 효율적으로 근사할 수 있음을 의미한다.
• 이제 연속 상태, 행동, 그리고 결합된 제약 조건을 가진 MPG에서 CL-NE를 실용적으로 계산할 수 있게 되었으며, 이는 이전에 표준 방법으로는 해결이 어려웠던 문제를 해결한다.
• 비협력적 통신 공 엔지니어링 게임에서, 깊이 강화 학습 알고리즘이 정확한 변분 내쉬 균형에 매우 가까운 정책을 성공적으로 학습하여, 제안된 방법의 실증적 효과를 입증한다.
• 이 방법은 간단한 매개변수 형태를 넘어서, 충분한 표현력을 가진 고용량 정책(예: 딥 네트워크)을 허용하여, 진정한 내쉬 균형에 임의로 가까운 근사가 가능함을 보여준다.
• 이전의 CL 분석은 정확한 내쉬 균형이 정책 클래스에 포함되지 않을 경우 근사해를 제공하지 못하는 주요 한계를 극복하였으며, 복잡하고 역행렬이 불가능한 동역학 조건 하에서도 실용적으로 적용 가능하다.