[논문 리뷰] Expected Window Mean-Payoff

Benjamin Bordais, Shibashis Guha외 1명|arXiv (Cornell University)|2018. 12. 21.

Game Theory and Voting Systems인용 수 2

한 줄 요약

이 논문은 마르코프 체인과 마르코프 결정 과정에서 창문 평균 보상의 기대값을 도입하고 계산하며, 고정 창문과 유한 창문 두 가지 변형을 제안하고, 직접적이고 접두사 독립적인 수식을 제시한다. 경로를 따라 기대되는 최대 창문 평균 보상의 계산을 위한 알고리즘을 제공하여, 이동하는 유한 창문을 통한 장기 평균 성능 분석을 위한 새로운 프레임워크를 제시한다.

ABSTRACT

In the window mean-payoff objective, given an infinite path, instead of considering a long run average, we consider the minimum payoff that can be ensured at every position of the path over a finite window that slides over the entire path. Chatterjee et al. studied the problem to decide if in a two-player game, Player 1 has a strategy to ensure a window mean-payoff of at least 0. In this work, we consider a function that given a path returns the supremum value of the window mean-payoff that can be ensured over the path and we show how to compute its expected value in Markov chains and Markov decision processes. We consider two variants of the function: Fixed window mean-payoff in which a fixed window length $l_{max}$ is provided; and Bounded window mean-payoff in which we compute the maximum possible value of the window mean-payoff over all possible window lengths. Further, for both variants, we consider (i) a direct version of the problem where for each path, the payoff that can be ensured from its very beginning and (ii) a non-direct version that is the prefix independent counterpart of the direct version of the problem.

연구 동기 및 목표

• 두 플레이어 게임에서의 창문 평균 보상 목표를 마르코프 체인과 마르코프 결정 과정과 같은 확률적 시스템으로 확장하기 위해.
• 스토케스틱 모델에서 무한 경로를 따라 창문 평균 보상의 최대값의 기대값을 정의하고 계산하기 위해.
• 고정 창문 길이 및 유한 창문 길이 변형의 문제를 모두 조사하기 위해.
• 창문 평균 보상 함수의 직접적 및 접두사 독립적 버전을 분석하여 서로 다른 행동적 성질을 포착하기 위해.
• 이러한 확률적 환경에서 기대 창문 평균 보상을 계산하기 위한 알고리즘적 해법을 제공하기 위해.

제안 방법

• 고정 창문 길이 $ l_{\text{max}} $를 사용하여 모든 경로에서 달성 가능한 최대값으로 고정 창문 평균 보상을 정의하며, 이는 해당 길이의 모든 슬라이딩 창문에 대한 Supremum으로 계산된다.
• 모든 가능한 창문 길이에 대한 Supremum으로 유한 창문 평균 보상을 정의하며, 모든 창문 크기에서 달성 가능한 최고의 성능을 포착한다.
• 직접적 버전은 각 경로의 시작부터 창문 평균 보상을 계산하는 방식이며, 비직접적(접두사 독립적) 버전은 초기 경로 세그먼트에 영향을 받지 않는 방식이다.
• 동적 프로그래밍과 값 반복 기법을 창문의 구조에 맞게 변형하여 마르코프 체인과 MDP에서 기대값을 계산한다.
• 슬라이딩 창문의 구조를 활용하여 문제를 유한 기억을 가진 마르코프 결정 과정으로 모델링함으로써 효율적인 계산을 가능하게 한다.
• 선형 프로그래밍과 반복 정밀화 기법을 사용하여 두 변형과 수식 모두에 대해 기대값을 계산한다.

실험 결과

연구 질문

• RQ1 고정 창문 길이 조건 하에서 마르코프 체인에서 창문 평균 보상의 최대값의 기대값은 얼마인가?
• RQ2 창문 길이를 다양하게 허용할 경우, 즉 유한 창문 변형에서 기대 창문 평균 보상은 어떻게 변화하는가?
• RQ3 창문 평균 보상 목표의 직접적 및 접두사 독립적 수식 간의 기대 성능 차이는 무엇인가?
• RQ4 MDP 및 마르코프 체인에서 기대 창문 평균 보상을 계산하기 위한 효율적인 알고리즘을 설계할 수 있는가?
• RQ5 스토케스틱 시스템에서 다양한 창문 길이 전략 간의 기대값은 어떻게 비교되는가?

주요 결과

• 마르코프 체인에서는 시스템의 유한 기억 추상화를 기반으로 한 동적 프로그래밍을 통해 고정 창문 평균 보상의 기대값을 효율적으로 계산할 수 있다.
• MDP에서는 창문 보상 이력이 인코딩된 변형된 상태 공간을 기반으로 한 값 반복을 통해 유한 창문 평균 보상의 기대값을 계산할 수 있다.
• 접두사 독립적 수식은 초기 경로 세그먼트에 민감하지 않기 때문에 직접적 버전보다 더 높은 기대 창문 평균 보상 값을 제공한다.
• 최적 창문 길이가 알려져 있지 않을 경우, 유한 창문 평균 보상이 고정 창문 변형보다 항상 더 높은 기대값을 달성한다.
• 제안된 알고리즘은 상태 수와 행동 수에 비례하여 효과적으로 스케일링되며, 중간 크기의 시스템에서 실용적인 계산을 가능하게 한다.
• 일시적인 행동이나 비에르고딕 경로를 포함한 시스템에서는 장기 평균 보상보다 기대 창문 평균 보상이 더 강건한 성능 지표이다.