[论文解读] Controlling a Random Population is EXPTIME-hard

Corto Mascle, Mahsa Shirmohammadi+1 more|arXiv (Cornell University)|Sep 13, 2019

Reinforcement Learning in Robotics参考文献 2被引用 4

一句话总结

本文证明了在马尔可夫决策过程中的群体控制问题——即控制器以概率1将所有组件同步至目标状态——是EXPTIME难的。通过从倒计时游戏（Countdown Games）归约，作者构建了一个MDP，其中对所有群体规模n的同步是可能的，当且仅当在原始倒计时游戏中玩家1获胜，从而确立了几乎必然同步问题的难解性结果。

ABSTRACT

Bertrand et al. [1] (LMCS 2019) describe two-player zero-sum games in which one player tries to achieve a reachability objective in $n$ games (on the same finite arena) simultaneously by broadcasting actions, and where the opponent has full control of resolving non-deterministic choices. They show EXPTIME completeness for the question if such games can be won for every number $n$ of games. We consider the almost-sure variant in which the opponent randomizes their actions, and where the player tries to achieve the reachability objective eventually with probability one. The lower bound construction in [1] does not directly carry over to this randomized setting. In this note we show EXPTIME hardness for the almost-sure problem by reduction from Countdown Games.

研究动机与目标

• 确立几乎必然群体控制问题在马尔可夫决策过程中的计算复杂度。
• 证明对n重乘积MDP实现以概率1同步至目标配置的问题是EXPTIME难的。
• 弥合二人零和博弈与MDP中随机同步问题之间的差距。
• 表明随机对手模型需要一种与确定性设定不同的新型归约技术。

提出的方法

• 构建一个具有专用组件的MDP：等待模块、控制模块和二进制计数器，以模拟倒计时游戏的动力学行为。
• 使用恶灵（daemonic）和天使（angelic）动作，以确保控制流的正确初始化和安全转移。
• 实现两个二进制计数器（AC和MC），使其同步递减以模拟游戏步数并强制执行零值检查。
• 引入动作如'go'以设置初始值，'win'以在MC上强制进入零状态，以及'next'以要求在前进前完成完整倒计时。
• 使用'error'动作对错误配置施加惩罚，确保仅有效游戏模拟能导致同步。
• 通过构造无记忆确定性策略，将倒计时游戏的决策问题归约为群体控制问题。

实验结果

研究问题

• RQ1 MDP中的几乎必然群体控制问题是否为EXPTIME难？
• RQ2 能否将从二人倒计时游戏的归约方法适配到随机对手设定中？
• RQ3 在n重乘积MDP中以概率1实现同步是否精确对应于原始倒计时游戏中存在获胜策略？
• RQ4 该构造能否对对手选择中的概率偏差保持鲁棒性？

主要发现

• 即使在几乎必然同步要求下，群体控制问题仍是EXPTIME难的。
• 从倒计时游戏到群体控制的归约保持了正确性：对所有n的同步是可能的，当且仅当玩家1在原始倒计时游戏中获胜。
• 该构造确保任何对正确初始化或游戏模拟的偏离，都会以正概率导致不可同步的配置。
• 使用恶灵动作强制要求：只有模仿获胜倒计时游戏策略的策略才能实现几乎必然同步。
• 即使对手进行随机化，该结果依然成立，因为获胜条件在随机设定下等价于以概率1获胜。