[논문 리뷰] Controlling a Random Population is EXPTIME-hard

Corto Mascle, Mahsa Shirmohammadi외 1명|arXiv (Cornell University)|2019. 09. 13.

Reinforcement Learning in Robotics참고 문헌 2인용 수 4

한 줄 요약

이 논문은 마르코프 결정 과정(MDP)에서의 인구 통제 문제—즉, 제어자가 모든 구성 요소를 목표 상태로 동기화할 확률이 정확히 1이 되도록 하는 문제—가 EXPTIME-난이도임을 증명한다. 카운트다운 게임에서의 감소를 통해, 저자들은 모든 인구 크기 n에 대해 동기화가 가능할 조건이 오직 첫 번째 플레이어가 원래의 카운트다운 게임에서 승리할 경우에만 성립하는 MDP를 구성함으로써, 거의 확실한 동기화 문제에 대한 난이도 결과를 확립한다.

ABSTRACT

Bertrand et al. [1] (LMCS 2019) describe two-player zero-sum games in which one player tries to achieve a reachability objective in $n$ games (on the same finite arena) simultaneously by broadcasting actions, and where the opponent has full control of resolving non-deterministic choices. They show EXPTIME completeness for the question if such games can be won for every number $n$ of games. We consider the almost-sure variant in which the opponent randomizes their actions, and where the player tries to achieve the reachability objective eventually with probability one. The lower bound construction in [1] does not directly carry over to this randomized setting. In this note we show EXPTIME hardness for the almost-sure problem by reduction from Countdown Games.

연구 동기 및 목표

• 幾乎확실한 인구 통제 문제의 계산 복잡도를 규명하는 것.
• n중 복합 MDP에서 목표 구성으로의 동기화가 확률 1로 이루어지는 것이 EXPTIME-난이도임을 보이는 것.
• 두 명의 플레이어가 참여하는 제로섬 게임과 MDP에서의 확률적 동기화 문제 사이의 격차를 메우는 것.
• 확률적 적대자 모델이 결정론적 설정과는 다를 바 있는 새로운 감소 기법이 필요함을 보여주는 것.

제안 방법

• 카운트다운 게임의 동역학을 시뮬레이션하기 위해 기다림, 제어, 이진 카운터 기반의 특수 기능을 갖춘 MDP를 구성하는 것.
• 다이아몬드형 및 천사형 동작을 사용하여 제어 흐름에서 정확한 초기화와 안전한 전이를 보장하는 것.
• 동기화된 방식으로 감소하는 이진 카운터(AC 및 MC)를 구현하여 게임 수를 시뮬레이션하고 0 확인 조건을 강제하는 것.
• 초기 값 설정을 위한 'go' 동작, MC에서 0 상태를 강제하는 'win' 동작, 전진하기 전에 완전한 카운트다운을 요구하는 'next' 동작을 도입하는 것.
• 잘못된 구성이 발생하면 'error' 동작을 통해 처벌함으로써, 유일하게 유효한 게임 시뮬레이션만이 동기화로 이어지도록 보장하는 것.
• 메모리 없는 결정론적 전략 구성 방법을 통해 카운트다운 게임의 결정 문제를 인구 통제 문제로 감소시키는 것.

실험 결과

연구 질문

• RQ1 MDP에서 거의 확실한 인구 통제 문제는 EXPTIME-난이도인가?
• RQ2 두 명의 플레이어가 참여하는 카운트다운 게임에서의 감소 기법을 확률적 적대자 설정으로 일반화할 수 있는가?
• RQ3 n중 복합 MDP에서 확률 1로 동기화가 이루어지는 것은 원래의 카운트다운 게임에서의 승리 전략과 정확히 일치하는가?
• RQ4 이 구성이 적대자의 선택에서 발생하는 확률적 이탈에 대해 강건한가?

주요 결과

• 인구 통제 문제는 거의 확실한 동기화 요구 조건 하에서도 여전히 EXPTIME-난이도이다.
• 카운트다운 게임에서의 감소는 정확성을 유지한다: 모든 n에 대해 동기화가 가능할 조건은 오직 첫 번째 플레이어가 카운트다운 게임에서 승리할 경우에만 성립한다.
• 정확한 초기화 또는 게임 시뮬레이션에서의 이탈이 발생하면, 비동기화 가능한 구성으로 이어질 확률이 양수로 보장된다.
• 다이아몬드형 동작의 사용은 오직 카운트다운 게임에서의 승리 전략을 모방하는 전략만이 거의 확실한 동기화를 달성할 수 있도록 강제한다.
• 적대자가 확률적으로 행동하더라도 결과는 그대로 유지되며, 이는 확률적 설정에서의 승리 조건과 동일하기 때문이다.