[論文レビュー] Smoothed Analysis of Deterministic Discounted and Mean-Payoff Games

Bruno Loff, Mateusz Skomra|arXiv (Cornell University)|Jan 1, 2024

Decision-Making and Behavioral Economics被引用数 1

ひとこと要約

本稿は、報酬がランダムに摂動される場合に、滑らかさ解析（smoothed analysis）の下で高確率で多項式時間で実行される、決定的2人零和割合割引ゲームおよび平均報酬ゲームのためのポリシー反復アルゴリズムを提示する。この研究では、これらのゲームにおける条件数を導入し、アルゴリズムの実行時間がこの条件数の多項式時間で抑えられることを証明しており、長年の予想を解決するとともに、確率的設定における最近の反例とは対照的である。

ABSTRACT

We devise a policy-iteration algorithm for deterministic two-player discounted and mean-payoff games, that runs in polynomial time with high probability, on any input where each payoff is chosen independently from a sufficiently random distribution. This includes the case where an arbitrary set of payoffs has been perturbed by a Gaussian, showing for the first time that deterministic two-player games can be solved efficiently, in the sense of smoothed analysis. More generally, we devise a condition number for deterministic discounted and mean-payoff games, and show that our algorithm runs in time polynomial in this condition number. Our result confirms a previous conjecture of Boros et al., which was claimed as a theorem and later retracted. It stands in contrast with a recent counter-example by Christ and Yannakakis, showing that Howard's policy-iteration algorithm does not run in smoothed polynomial time on stochastic single-player mean-payoff games. Our approach is inspired by the analysis of random optimal assignment instances by Frieze and Sorkin, and the analysis of bias-induced policies for mean-payoff games by Akian, Gaubert and Hochart.

研究の動機と目的

• ボロスらが提起した予想を解決すること：決定的2人ゲームにおけるポリシー反復アルゴリズムの滑らかさ解析下での多項式時間効率性。
• 決定的割引および平均報酬ゲームのための条件数を確立し、アルゴリズムの実行可能性を捉えること。
• ランダムな報酬摂動（例：ガウス分布）が、高確率で良好に条件付けられたインスタンスをもたらすことを示すこと。
• 最近の反例（ホワイトのポリシー反復ルールが確率的設定で失敗すること）と対比させること。
• 組合せ的アルゴリズムおよびUEOPLといった複雑度クラスへの広範な影響を検討すること。

提案手法

• 割引および平均報酬目的をもつ決定的2人ゲームに特化した新しいポリシー反復アルゴリズムを設計する。
• 報酬摂動に対する価値ベクトルの感度に基づく条件数を導入し、線形計画法における概念を一般化する。
• 滑らかさ解析を用いて、高確率でランダムな報酬摂動が多項式的に有界な条件数を持つインスタンスをもたらすことを示す。
• フリーズとソーキン（2007）のランダム割り当て問題に関する技術およびアキアン、ゴーベル、ホーチャート（2018）のバイアス誘導ポリシーに関する技術を活用する。
• 割引係数および報酬ベクトルの反復的更新を通じた収束を分析し、ポリシー切り替え回数および各反復におけるシステム解法回数を制限する。
• 条件数の下で、反復回数および1反復あたりのシステム解法回数が多項式的であることを証明し、全体としての滑らかさ多項式複雑度を保証する。

実験結果

リサーチクエスチョン

• RQ1 決定的2人割引および平均報酬ゲームのためのポリシー反復アルゴリズムは、滑らかさ解析下で多項式時間の滑らかさ複雑度を達成できるか？
• RQ2 これらのゲームに対して、アルゴリズム実行時間がその測度の多項式時間で抑えられるような明確な条件数が存在するか？
• RQ3 ランダムな報酬摂動（例：ガウス分布）が、高確率で良好に条件付けられたインスタンスをもたらすのに十分か？
• RQ4 この結果は、最近の反例（ホワイトのポリシー反復ルールが確率的設定で失敗すること）とどのように対比されるか？
• RQ5 提案されたポリシー反復ルールは、非推移的グラフや確率的ゲームへと拡張または適応可能か？

主な発見

• 提案されたポリシー反復アルゴリズムは、報酬が独立にガウス分布で摂動される場合に、滑らかさ解析下で高確率で多項式時間で実行される。
• アルゴリズムの実行時間は、報酬変化に対する価値ベクトルの感度を測る指標として導入された条件数の多項式時間で抑えられる。
• 報酬がランダムに摂動される場合、条件数が高確率で多項式的に有界であることが示され、滑らかさ多項式複雑度が保証される。
• この結果により、ボロスらの予想が確認された。この予想は以前に提示され、後に撤回されたが、本研究では正しい完全な証明が与えられた。
• 分析により、ホワイトのポリシー反復ルールは、確率的設定とは異なり、決定的設定へと一般化できないことが示され、専用のルールの必要性が示唆された。
• 本研究は、適切な摂動モデルの下で、UEOPLに属するすべての問題が多項式時間で解ける可能性を示唆しているが、これはまだ予想の段階である。