[논문 리뷰] Fast Planning in Stochastic Games

Michael Kearns, Yishay Mansour외 1명|arXiv (Cornell University)|2013. 01. 16.

Game Theory and Applications참고 문헌 6인용 수 36

한 줄 요약

이 논문은 확률적 게임에서 근사-내시 균형을 계산하기 위한 빠른 계획 알고리즘을 제시하며, 유한시간 할당 가치 반복을 다중 에이전트 환경으로 일반화한다. 이는 큰 또는 무한한 상태 공간에 대해 희소 샘플링 기법을 적용하고, 일반합 게임에서 무한시간 할당 할인 가치 반복이 일반적으로 수렴하지 않음을 증명한다. 이는 0-합 경우와는 다름.

ABSTRACT

Stochastic games generalize Markov decision processes (MDPs) to a multiagent setting by allowing the state transitions to depend jointly on all player actions, and having rewards determined by multiplayer matrix games at each state. We consider the problem of computing Nash equilibria in stochastic games, the analogue of planning in MDPs. We begin by providing a generalization of finite-horizon value iteration that computes a Nash strategy for each player in generalsum stochastic games. The algorithm takes an arbitrary Nash selection function as input, which allows the translation of local choices between multiple Nash equilibria into the selection of a single global Nash equilibrium. Our main technical result is an algorithm for computing near-Nash equilibria in large or infinite state spaces. This algorithm builds on our finite-horizon value iteration algorithm, and adapts the sparse sampling methods of Kearns, Mansour and Ng (1999) to stochastic games. We conclude by descrbing a counterexample showing that infinite-horizon discounted value iteration, which was shown by shaplely to converge in the zero-sum case (a result we give extend slightly here), does not converge in the general-sum case.

연구 동기 및 목표

• 확률적 게임에서 내시 균형을 효율적으로 계산하기 위한 계획 알고리즘을 개발하여, MDP 기반 가치 반복을 다중 에이전트 환경으로 확장한다.
• 확률적 게임에 적응된 희소 샘플링 방법을 사용하여 큰 또는 무한한 상태 공간에서의 확장 가능한 계획을 가능하게 한다.
• 여러 개의 국소 균형이 존재할 경우 유일한 전역 내시 균형을 선택하기 위한 일반화 가능한 선택 함수를 해결한다.
• 일반합 확률적 게임에서의 무한시간 할인 가치 반복의 수렴 성질을 분석한다.
• 확률적 게임에서의 빠르고 확장 가능한 균형 계산을 위한 이론적 및 알고리즘적 기초를 제공한다.

제안 방법

• 공동 플레이어 행동과 다중 플레이어 행렬 게임 보상 요소를 통합하여, 유한시간 할당 가치 반복을 확률적 게임으로 일반화한다.
• 여러 개의 내시 균형을 해결하고 유일한 전역 균형을 선택하기 위해 내시 선택 함수를 도입한다.
• Kearns 등 (1999)의 희소 샘플링 방법을 확장하여 큰 상태 공간에서의 효율적 계획을 위한 확률적 게임에 적응시킨다.
• 각 플레이어의 가치 함수를 유지하고 공동 행동 결과에 기반해 업데이트하는 가치 반복 프레임워크를 사용한다.
• 미래 상태에 대한 기대값을 추정하기 위해 샘플링 기반 근사를 사용하여 계산 복잡도를 감소시킨다.
• 0-합 확률적 게임에서의 쇼플리 수렴 결과를 일반합 설정으로 확장하여, 일반합 설정에서는 성립하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 유한시간 할당 가치 반복을 확률적 게임에서 내시 균형을 계산하기 위해 일반화할 수 있는가?
• RQ2 희소 샘플링은 어떻게 확장되어 확률적 게임의 큰 또는 무한한 상태 공간에서의 빠른 계획을 가능하게 하는가?
• RQ3 일반합 확률적 게임에서 무한시간 할인 가치 반복은 보장적으로 수렴하는가?
• RQ4 여러 개의 균형이 존재할 경우, 유일한 전역 내시 균형을 선택하기 위해 필요한 메커니즘은 무엇인가?
• RQ5 0-합과 일반합 확률적 게임 간의 가치 반복 수렴 성질은 어떻게 다름?

주요 결과

• 제안된 유한시간 할당 가치 반복 알고리즘은 내시 선택 함수를 사용하여 일반합 확률적 게임에서 내시 균형을 성공적으로 계산한다.
• 희소 샘플링 적응은 큰 또는 무한한 상태 공간에서 근사-내시 균형의 효율적 계산을 가능하게 한다.
• 알고리즘은 복잡한 다중 에이전트 환경에서의 계획에 대해 확장성과 실용적 타당성을 보여준다.
• 무한시간 할인 가치 반복이 일반합 확률적 게임에서는 수렴하지 않음을 보여주는 반례가 제시된다. 이는 0-합 경우에서는 수렴하지만 일반합에서는 그렇지 않음을 의미한다.
• 논문은 쇼플리의 0-합 확률적 게임 수렴 결과를 일반화하여, 해당 설정에서는 유효함을 확인한다.
• 선택 함수를 통해 국소 균형 선택을 일관된 전역 균형으로 번역할 수 있음을 프레임워크가 지원한다.