[論文レビュー] Controlling a Random Population is EXPTIME-hard

Corto Mascle, Mahsa Shirmohammadi+1 more|arXiv (Cornell University)|Sep 13, 2019

Reinforcement Learning in Robotics参考文献 2被引用数 4

ひとこと要約

この論文は、マルコフ決定過程における集団制御問題—制御者が確率1ですべてのコンポonentを目標状態に同期させることを目的とする—が EXPTIME-hard であることを証明している。カウントダウン・ゲームへの還元により、著者たちは、すべての集団サイズ n に対して同期が可能であるのは、もともとのカウントダウン・ゲームでプレイヤー1が勝つ場合に限ることを確立し、確実な同期問題の難易度を示している。

ABSTRACT

Bertrand et al. [1] (LMCS 2019) describe two-player zero-sum games in which one player tries to achieve a reachability objective in $n$ games (on the same finite arena) simultaneously by broadcasting actions, and where the opponent has full control of resolving non-deterministic choices. They show EXPTIME completeness for the question if such games can be won for every number $n$ of games. We consider the almost-sure variant in which the opponent randomizes their actions, and where the player tries to achieve the reachability objective eventually with probability one. The lower bound construction in [1] does not directly carry over to this randomized setting. In this note we show EXPTIME hardness for the almost-sure problem by reduction from Countdown Games.

研究の動機と目的

• 確実な集団制御問題の計算複雑性を確立すること。
• n 重積 MDP における目標状態への同期が確率1で達成可能である問題が EXPTIME-hard であることを示すこと。
• 2人ゼロ和ゲームとMDPにおける確率的同期問題の間のギャップを埋めること。
• 確率的敵対者モデルでは、決定的設定とは異なる新たな還元技法が必要であることを示すこと。

提案手法

• カウントダウン・ゲームのダイナミクスをシミュレートするための特別なガジェット（待機、制御、2進数カウンタ）を備えたMDPを構築する。
• 悪魔的（daemonic）および天使的（angelic）アクションを用いて、制御フローにおける正しい初期化と安全な遷移を強制する。
• 同時に減衰する2つの2進数カウンタ（AC および MC）を実装し、ゲームの手をシミュレートし、ゼロチェックを強制する。
• 初期値を設定するための 'go' アクション、MC でゼロ状態を強制するための 'win' アクション、進捗を進める前に完全なカウントダウンを要請するための 'next' アクションを導入する。
• 誤った構成をペナルティ化するための 'error' アクションを用い、有効なゲームのシミュレーションのみが同期に到達可能であることを保証する。
• メモリレスな決定的戦略の構築により、カウントダウン・ゲームの意思決定問題を集団制御問題に還元する。

実験結果

リサーチクエスチョン

• RQ1 MDPにおける確実な集団制御問題は EXPTIME-hard か？
• RQ2 2人ゼロ和カウントダウン・ゲームからの還元を、確率的敵対者設定に適応できるか？
• RQ3 n 重積 MDP における確率1での同期は、元のカウントダウン・ゲームにおける勝利戦略と正確に一致するか？
• RQ4 この構成は、敵対者の選択における確率的逸脱に対して耐性を示せるか？

主な発見

• 集団制御問題は、確実な同期要件のもとでも EXPTIME-hard である。
• カウントダウン・ゲームから集団制御への還元は正しく保たれる：すべての n に対して同期が可能であるのは、元のゲームでプレイヤー1が勝つ場合に限る。
• 正しい初期化やゲームのシミュレーションからのいかなる逸脱も、正の確率で同期不能な構成に導く。
• 悪魔的アクションの使用により、唯一、カウントダウン・ゲームの勝利戦略を模倣する戦略のみが、確実な同期を達成できる。
• 敵対者が確率的に選択を行っても、この結果は成り立つ。なぜなら、勝利条件は確率的設定下でも確率1での勝利と等価だからである。