[논문 리뷰] Different Strokes in Randomised Strategies: Revisiting Kuhn's Theorem under Finite-Memory Assumptions

James C. A. Main, Mickaël Randour|arXiv (Cornell University)|2022. 01. 01.

Game Theory and Applications인용 수 1

한 줄 요약

이 논문은 이인자 동시 스토케스틱 게임에서 유한 메모리 랜덤 전략을 초기화, 전이, 출력 중 어떤 구성 요소가 랜덤화되는지에 따라 분류함으로써 완전한 분류 체계를 제공한다. 이는 완전 기억과 무한 메모리 조건에서 혼합 전략과 행동 전략을 동치로 만드는 쿠른의 정리가 유한 메모리 제약 조건 하에서는 성립하지 않으며, 전략 유형 간에 엄밀한 표현력 계층이 존재함을 보여준다.

ABSTRACT

Two-player (antagonistic) games on (possibly stochastic) graphs are a prevalent model in theoretical computer science, notably as a framework for reactive synthesis. Optimal strategies may require randomisation when dealing with inherently probabilistic goals, balancing multiple objectives, or in contexts of partial information. There is no unique way to define randomised strategies. For instance, one can use so-called mixed strategies or behavioural ones. In the most general setting, these two classes do not share the same expressiveness. A seminal result in game theory -- Kuhn's theorem -- asserts their equivalence in games of perfect recall. This result crucially relies on the possibility for strategies to use infinite memory, i.e., unlimited knowledge of all past observations. However, computer systems are finite in practice. Hence it is pertinent to restrict our attention to finite-memory strategies, defined as automata with outputs. Randomisation can be implemented in these in different ways: the initialisation, outputs or transitions can be randomised or deterministic respectively. Depending on which aspects are randomised, the expressiveness of the corresponding class of finite-memory strategies differs. In this work, we study two-player concurrent stochastic games and provide a complete taxonomy of the classes of finite-memory strategies obtained by varying which of the three aforementioned components are randomised. Our taxonomy holds in games of perfect and imperfect information with perfect recall, and in games with more than two players. We also provide an adapted taxonomy for games with imperfect recall.

연구 동기 및 목표

• 이인자 동시 스토케스틱 게임에서 유한 메모리 랜덤 전략의 표현력 수준을 분류하는 것.
• 초기화, 전이, 출력에서의 랜덤화가 전략의 동치성과 표현력에 미치는 영향을 조사하는 것.
• 혼합 전략과 행동 전략을 동치로 만드는 쿠른의 정리가 유한 메모리 가정 하에서도 성립하는지 판단하는 것.
• 불완전 정보와 완전 기억 조건이 적용되는 게임으로 분류 체계를 확장하고, 전략 유형 간 엄밀한 포함 관계를 규명하는 것.
• 실제 반응 합성 설정에서도 적용 가능한 전략 유형 간 분리성을 보여주는 구축 증명과 반례를 제공하는 것.

제안 방법

• 초기화, 전이, 출력 중 하나 이상이 랜덤화된 메일 기계 형태의 유한 메모리 전략을 정의한다.
• 초기화, 전이, 출력 중 어떤 것이 랜덤화되거나 결정론적인지에 따라 8종의 전략 유형으로 분류한다.
• 결과 동치성(Outcome-equivalence)을 비교 기준으로 사용한다: 두 전략이 어떤 적대 전략에 대해서도 동일한 행동 분포를 생성하면 동치로 간주한다.
• 전략 유형 간 포함 관계를 증명하기 위해 효과적인 시뮬레이션을 구축한다(예: RDD 전략을 DRD 전략으로 시뮬레이션).
• 게임 이론적 구성 방법을 통해 반례를 제시함으로써 엄밀한 포함 관계를 입증한다(예: 일부 RDD 전략을 DRR 전략이 모방할 수 없음).
• 관측값을 행동값 대신 사용하도록 증명을 수정함으로써, 불완전 정보이지만 완전 기억 조건이 적용되는 게임으로 결과를 일반화한다.

실험 결과

연구 질문

• RQ1 유한 메모리 랜덤 전략 유형 중에서 결과 동치성 하에서 표현력이 동일한 유형은 무엇인가?
• RQ2 유한 메모리 제약 조건 하에서 쿠른의 정리—혼합 전략과 행동 전략의 동치성—가 성립하는가?
• RQ3 완전 기억 조건 하에서, 출력만 랜덤화된 전략(RDD)이 초기화만 랜덤화된 전략(DRD)에 의해 시뮬레이션될 수 있는가?
• RQ4 랜덤화가 유한 메모리로 제한되었을 때 전략 유형 간 엄밀한 포함 관계가 존재하는가? 이러한 관계는 효과적인 구성으로 확인될 수 있는가?
• RQ5 불완전 정보이지만 완전 기억 조건이 적용되는 게임에서 표현력 계층은 완전 정보 게임과 비교해 어떻게 변화하는가?

주요 결과

• 유한 메모리 랜덤 전략의 표현력 계층은 엄밀하다: DRR, RDR, RRD, RDD, DRD, DDR, DDD, RRR은 모두 결과 동치성 하에서 상이하다.
• 완전 기억 조건이 적용되는 불완전 정보 게임에서, DRR 전략와 결과 동치인 전략이 존재하지 않는 RDD 전략이 존재함을 보여주며, 이는 이 두 유형 간 엄밀한 분리가 있음을 입증한다.
• 초기화만 랜덤화되고 전이가 결정론적인 전략 유형(DRD)은 완전 기억 조건 하에서 모든 RDD 전략을 시뮬레이션할 수 있으며, 이는 엄밀한 포함 관계를 확립한다.
• 초기화, 전이, 출력이 모두 랜덤화된 RRR 전략은 초기화가 결정론적이고 전이와 출력이 랜덤화된 DRR 전략에 의해 시뮬레이션될 수 있으며, 이는 RRR ⊆ DRR 를 의미한다.
• RRR 전략을 DRR 전략이 시뮬레이션할 수 있음을 보여주는 증명은, RRR 전략의 첫 번째 단계 메모리 분포와 정확히 일치하는 스토케스틱 전이 분포를 갖는 새로운 초기 메모리 상태를 활용한다.
• 완전 정보 게임에서 수립된 분류 체계는 불완전 정보이지만 완전 기억 조건이 적용되는 게임으로 확장되며, 모든 포함 관계와 엄밀한 분리 관계가 유지된다.