[논문 리뷰] On the Complexity of Computing Markov Perfect Equilibrium in General-Sum Stochastic Games

Xiaotie Deng, Yuhao Li외 3명|arXiv (Cornell University)|2021. 09. 04.

Reinforcement Learning in Robotics참고 문헌 45인용 수 9

한 줄 요약

이 논문은 유한한 시간 범위, 할인율이 적용되는 일반 합계 스토케스틱 게임에서 근사적인 마르코프 완전균형(MPE)을 계산하는 것이 PPAD-완전함을 입증한다. 저자들은 전략 공간 위에서 다항식적으로 유 bounds된 함수를 구성함으로써 MPE 계산 문제를 고정점 문제로 환원하며, 문제의 NP-난이도가 NP = co-NP가 아닐 경우에만 성립하지 않는다는 것을 증명함으로써, 다중 에이전트 강화학습 연구에 대한 복잡도 기반을 제공한다.

ABSTRACT

Similar to the role of Markov decision processes in reinforcement learning, Stochastic Games (SGs) lay the foundation for the study of multi-agent reinforcement learning (MARL) and sequential agent interactions. In this paper, we derive that computing an approximate Markov Perfect Equilibrium (MPE) in a finite-state discounted Stochastic Game within the exponential precision is extbf{PPAD}-complete. We adopt a function with a polynomially bounded description in the strategy space to convert the MPE computation to a fixed-point problem, even though the stochastic game may demand an exponential number of pure strategies, in the number of states, for each agent. The completeness result follows the reduction of the fixed-point problem to {\sc End of the Line}. Our results indicate that finding an MPE in SGs is highly unlikely to be extbf{NP}-hard unless extbf{NP}= extbf{co-NP}. Our work offers confidence for MARL research to study MPE computation on general-sum SGs and to develop fruitful algorithms as currently on zero-sum SGs.

연구 동기 및 목표

• 일반 합계 스토케스틱 게임(SGs)에서 근사적인 마르코프 완전균형(MPE)을 찾는 계산 복잡도를 규명하는 것.
• SGs에서 MPE 계산이 NP-난이도인지, 또는 더 체계적인 복잡도 클래스에 속하는지에 대한 이해 격차를 메우는 것.
• 다중 에이전트 강화학습(MARL)에서 MPE 계산 알고리즘 개발을 뒷받침하는 이론적 기초를 제공하는 것.
• MPE 계산이 NP-난이도일 가능성이 매우 낮으며, 이는 NP = co-NP가 아닐 경우에만 성립함을 입증함으로써, 이 문제가 PPAD-완전임을 확인하는 것.

제안 방법

• 저자들은 전략 공간에서 다항식적으로 유 bounds된 함수 f를 정의함으로써, 순수 전략의 수가 지수적으로 증가하더라도 MPE 계산 문제를 고정점 문제로 환원할 수 있도록 한다.
• 사전적 순서로 가장 작은 양수인 행동을 기반으로 전략 프로파일에 레이블링 체계를 구성함으로써, 각 프로파일이 유일한 레이블을 갖도록 보장한다.
• 단체 기반 접근법을 사용하여 정지 단체를 식별함으로써, 주어진 에이전트와 상태에 대해 모든 행동이 표현되는 단체를 확보함으로써 근사 고정점을 도출한다.
• 단체에서 단체로의 부분 함수 g를 통해 문제를 종료된 선의(EOL) 문제로 환원함으로써, 짝이 지어지지 않은 단체가 정지 단체에 해당함을 보장하는 성질을 확보한다.
• 함수 g와 그 역함수는 다항식 시간 내에 계산 가능하므로, EOL 문제로의 유효한 환원이 가능하며, EOL 문제 자체는 PPAD-완전함이 알려져 있다.
• d = 32A_max^5 R_max^3 (λ+1) / (1−γ)^5 L^2로 선택함으로써, EOL의 해가 항상 1/L-근사 MPE를 유도함을 보장한다.

실험 결과

연구 질문

• RQ1 일반 합계 스토케스틱 게임에서 근사 MPE를 계산하는 것은 PPAD-완전한가?
• RQ2 전략 공간의 크기가 지수적으로 증가함에도 불구하고 MPE 계산을 고정점 문제로 환원할 수 있는가?
• RQ3 SGs에서 MPE 계산이 NP-난이도일 가능성이 매우 낮으며, 이는 MARL 알고리즘 설계에 어떤 함의를 갖는가?
• RQ4 전략 공간 위에서 다항식적으로 유 bounds된 함수가 SGs에서 MPE 계산을 효과적으로 표현할 수 있는가?

주요 결과

• 유한 상태, 할인율이 적용되는 일반 합계 스토케스틱 게임에서 근사 MPE를 계산하는 것은 PPAD-완전하다.
• 종료된 선 문제로의 환원은 MPE 계산이 PPAD 복잡도 클래스에 속한다는 것을 확인한다.
• 전략 공간 위에서 다항식적으로 유 bounds된 함수의 구성은 고정점 문제로의 효과적 환원을 가능하게 하며, 순수 전략의 지수적 표현을 피할 수 있다.
• 이 결과는 MPE 계산이 NP-난이도일 가능성이 매우 낮으며, 이는 NP = co-NP가 아닐 경우에만 성립함을 시사한다.
• EOL 인스턴스의 해를 통해 1/L-근사 MPE를 계산할 수 있으며, d를 적절히 선택함으로써 필요한 정밀도를 확보할 수 있다.
• 이론적 프레임워크는 일반 합계 SGs에 대한 MARL 알고리즘 개발을 뒷받침하며, 0-합계 설정에서의 기존 성과와 유사한 발전 가능성을 보여준다.