[논문 리뷰] Constrained Cost-Coupled Stochastic Games with Independent State Processes

Eitan Altman, Konstantin Avrachenkov외 4명|ArXiv.org|2007. 03. 21.

Game Theory and Voting Systems참고 문헌 11인용 수 7

한 줄 요약

이 논문은 각 플레이어가 독립적인 마르코프 결정 과정을 제어하는 비협력적 스토케스틱 게임에서, 비용과 제약 조건이 모든 플레이어의 행동에 의존하는 경우에 제약 조건이 있는 나시 균형의 존재를 확립한다. 선형 프로그래밍과 고정점 이론을 사용하여, 미약한 조건 하에서 정적 마르코프 전략이 제약 조건이 있는 나시 균형을 이룬다는 것을 증명하며, 무선 전력 제어 분야에 적용 가능하다.

ABSTRACT

We consider a non-cooperative constrained stochastic games with N players with the following special structure. With each player there is an associated controlled Markov chain. The transition probabilities of the i-th Markov chain depend only on the state and actions of controller i. The information structure that we consider is such that each player knows the state of its own MDP and its own actions. It does not know the states of, and the actions taken by other players. Finally, each player wishes to minimize a time-average cost function, and has constraints over other time-avrage cost functions. Both the cost that is minimized as well as those defining the constraints depend on the state and actions of all players. We study in this paper the existence of a Nash equilirium. Examples in power control in wireless communications are given.

연구 동기 및 목표

• 비용 결합과 제약 조건이 있는 비협력적 스토케스틱 게임에서 나시 균형의 존재를 확립하는 것.
• 플레이어들이 자신의 상태와 행동만을 부분적으로 알고 있을 때, 시간 평균 비용을 제약 조건 하에서 최적화해야 하는 상황을 모델링하는 것.
• 독립적인 상태 프로세스를 가진 다중 에이전트 스토케스틱 게임으로 제약 조건이 있는 마르코프 결정 과정(CMDP) 이론을 확장하는 것.
• 선형 프로그래밍과 고정점 분석을 통해 균형 계산을 위한 계산적으로 실현 가능한 프레임워크를 제공하는 것.
• 특히 품질 보증 제약 조건이 있는 업링크 전력 제어에서의 적용 가능성을 보여주는 것.

제안 방법

• N명의 플레이어가 각각 자신의 독립적인 MDP를 제어하는 제약 조건이 있는 비용 결합 스토케스틱 게임으로 게임을 수식화하며, 전이 확률은 오직 자신의 행동에 의존한다.
• 다른 플레이어의 전략이 주어졌을 때 최적의 정적 정책을 계산하는 데 사용되는 선형 프로그래밍(LP)인 LP(i,u)를 각 플레이어에게 도입하며, 이는 비용 최소화와 제약 조건 이행을 포함한다.
• 정적 전략 하에서 장기적인 상태-행동 빈도를 나타내는 점유도 측정 f(v)를 사용하며, 가정 Π₁ 하에서는 초기 조건과 무관하다.
• 점에서 집합으로의 사상 Ψ를 정의하여, 점유도 프로파일을 최적 반응 전략 프로파일의 집합으로 매핑함으로써 고정점 분석을 가능하게 한다.
• Ψ에 대해 카쿠타니의 고정점 정리를 적용하여 고정점의 존재를 증명하며, 이는 제약 조건이 있는 나시 균형에 해당한다.
• Ψ의 임의의 고정점은 정적 제약 조건이 있는 나시 균형을 유도하며, 반대로 모든 그러한 균형은 Ψ의 고정점에서 유래한다.

실험 결과

연구 질문

• RQ1 독립적인 상태 프로세스와 부분 정보를 가진 스토케스틱 게임에서 제약 조건이 있는 나시 균형이 존재하는 조건은 무엇인가?
• RQ2 플레이어들이 다른 이들의 정보를 제한적으로 알고 있을 때, 선형 프로그래밍을 통해 균형 전략을 특성화할 수 있는가?
• RQ3 비용 결합과 제약 조건은 분산 스토케스틱 게임에서 균형의 존재성과 구조에 어떤 영향을 미치는가?
• RQ4 Ψ의 고정점과 정적 제약 조건이 있는 나시 균형의 존재 사이에 어떤 연결 고리가 있는가?
• RQ5 주어진 가정 하에서 점유도와 LP 설정을 통해 균형을 계산할 수 있는가?

주요 결과

• 가정 Π₁–Π₃ 하에서 제안된 스토케스틱 게임 클래스에서 제약 조건이 있는 나시 균형이 존재하며, 카쿠타니의 고정점 정리를 통해 증명된다.
• 균형 전략은 정적 마르코프 정책이며, 이는 과거 이력이 아닌 현재 국소 상태에만 의존한다.
• 각 플레이어의 최적 전략은 u가 다른 플레이어의 전략을 나타내는 선형 프로그래밍 LP(i,u)를 통해 계산될 수 있다.
• LP(i,u)의 최적 해 집합은 볼록하고 컴act하며, 최적 반응 사상은 상부 반연속이다.
• 임의의 정적 제약 조건이 있는 나시 균형은 사상 Ψ의 고정점과 대응되며, 그 반대도 성립한다.
• 시간 평균 비용과 제약 함수는 점유도 f(v)에 의해 완전히 특성화되며, 이는 초기 상태 분포 β와 무관하다.