[論文レビュー] Tauberian theorems for general iterations of operators: applications to zero-sum stochastic games

Bruno Ziliotto|arXiv (Cornell University)|Sep 7, 2016

Economic theories and models参考文献 27被引用数 8

ひとこと要約

本稿は一般の作用素反復についてのタウバーエンの定理を確立し、n段階またはλ割引付きの確率的ゲームにおける値の一様収束が、ややいなめらかな条件下でθ重み付きゲームにおける一様収束を示すことを証明している。さらに、有限状態のゼロサム確率的ゲームにおいて、各段階の割引因子を現在の段階の重みに比例させる段階別戦略を構築し、θ₁ → 0 のとき漸近的値への収束を保証している。

ABSTRACT

This paper proves several Tauberian theorems for general iterations of operators, and provides two applications to zero-sum stochastic games where the total payoff is a weighted sum of the stage payoffs. The first application is to provide conditions under which the existence of the asymptotic value implies the convergence of the values of the weighted game, as players get more and more patient. The second application concerns stochastic games with finite state space and action sets. This paper builds a simple class of asymptotically optimal strategies in the weighted game, that at each stage play optimally in a discounted game with a discount factor corresponding to the relative weight of the current stage.

研究の動機と目的

• 確率的ゲームモデルにおける作用素反復に関する一般のタウバーエンの定理を確立すること。
• n段階またはλ割引付きゲームの値の収束が、θ重み付きゲームの値の収束を一様に導く条件を特定すること。
• 有限状態の確率的ゲームにおけるθ重み付きゲームにおける漸近的最適戦略を構築すること。
• θ₁ → 0 であるが v_θ が漸近的値に収束しない反例を用いて、収束条件の鋭さを示すこと。

提案手法

• θ重み付きゲームの値を関数方程式（シャープリー方程式）でモデル化する作用素的アプローチを用いる。
• 重み列θに関する条件の下で、作用素列に対するタウバーエンの定理を適用し、値の収束を導出する。
• 各段階mで、割引因子θₘ / ∑_{m'≥m} θₘ' を用いた割引付きゲームにおいて最適にプレーする戦略を構築する。
• ポリッシュ空間のボレル部分集合上の確率測度の弱∗位相を用いて、値関数の収束を分析する。
• 状態依存の遷移と対数的吸収確率を有する反例を分析し、条件の必要性を示す。
• 再帰的構造と吸収確率を用いて、特定の戦略下での期待報酬を評価する。

実験結果

リサーチクエスチョン

• RQ1 一般のθ重み付きゲームにおいて、vₙ や v_λ の一様収束が、θ重み付きゲームのv_θ の一様収束を導く条件は何か？
• RQ2 現在の段階の重みに比例する段階別割引因子に基づく戦略は、θ重み付き確率的ゲームにおいて漸近的最適になれるか？
• RQ3 θ₁ → 0 のとき、漸近的値が存在するが、θの全 Variation が消える場合でも、v_θ が漸近的値に収束するか？
• RQ4 vₙ が一様収束するが、θ₁ → 0 のとき v_θ が収束しない反例を構築できるか？
• RQ5 作用素的アプローチは、確率的ゲームにおける一般作用素反復に関するタウバーエンの定理の証明において、どのように役立つか？

主な発見

• 族 (vₙ) は、すべての k ≠ 0* に対して v*(k) = 1 かつ v*(0*) = 0 である極限 v* に一様収束する。これにより、漸近的値の存在が示された。
• θ^N₁ → 0 であるような列 (θ^N) が存在し、v_θ^N(0,1) → 0 となる。これにより、θ^N₁ → 0 であっても、v_θ が漸近的値に収束しないことが示された。
• 有限状態の確率的ゲームにおいて、段階mで割引因子θₘ / ∑_{m'≥m} θₘ' を用いた割引付きゲームにおいて最適にプレーする戦略は、θ₁ → 0 のとき漸近的最適である。
• θ に対して supₘ θₘ → 0 である限り、ややいなめらかな正則性条件の下で、vₙ や v_λ の一様収束が、任意のθについてv_θ の一様収束を示す。
• 反例により、θの全 Variation が消えても、v_θ が漸近的値に収束しない可能性があることが示され、条件の鋭さが裏付けられた。
• 証明技法は作用素に対するタウバーエンの定理に依拠しており、構築された戦略による報酬がシャープリー方程式に類似した関数方程式を満たすことが示された。