[論文レビュー] Repeated Games With Intervention: Theory and Applications in Communications

Yuanzhang Xiao, Jaeok Park+1 more|arXiv (Cornell University)|Nov 10, 2011

Game Theory and Applications参考文献 21被引用数 6

ひとこと要約

本稿は、非凸の1ショットゲームの結果を有する通信システムにおいて、実行可能報酬集合を凸化するための干渉を組み込んだ一般化された繰り返しゲームモデルを提案する。これにより、より大きな均衡報酬集合が得られ、利己的行動のための忍耐力要件が低減される。また、個々の合理的制約の下で最適な福祉最大化均衡を維持するために必要な最小干渉能力を導出する。

ABSTRACT

In communication systems where users share common resources, users' selfish behavior usually results in suboptimal resource utilization. There have been extensive works that model communication systems with selfish users as one-shot games and propose incentive schemes to achieve Pareto optimal action profiles as non-cooperative equilibria. However, in many communication systems, due to strong negative externalities among users, the sets of feasible payoffs in one-shot games are nonconvex. Thus, it is possible to expand the set of feasible payoffs by having users choose convex combinations of different payoffs. In this paper, we propose a repeated game model generalized by intervention. First, we use repeated games to convexify the set of feasible payoffs in one-shot games. Second, we combine conventional repeated games with intervention, originally proposed for one-shot games, to achieve a larger set of equilibrium payoffs and loosen requirements for users' patience to achieve it. We study the problem of maximizing a welfare function defined on users' equilibrium payoffs, subject to minimum payoff guarantees. Given the optimal equilibrium payoff, we derive the minimum intervention capability required and design corresponding equilibrium strategies. The proposed generalized repeated game model applies to various communication systems, such as power control and flow control.

研究の動機と目的

• 通信ネットワークにおける利己的ユーザー行動に起因する資源利用の非最適化を是正すること。
• パワー制御、フローコントロール、メディアアクセス制御における非凸実行可能報酬集合を有する1ショットゲームの制限を克服すること。
• 実現可能な部分ゲーム完全均衡報酬集合を拡大する、干渉を統合した繰り返しゲームフレームワークを設計すること。
• すべてのユーザーに対する最小報酬保証を満たす条件下で、均衡報酬上で福祉関数を最大化すること。
• 最適均衡結果を維持するために必要な最小干渉能力を特定すること。

提案手法

• ユーザー行動を監視し、観測信号に基づいて罰則を科す干渉装置を備えた一般化された繰り返しゲームモデルを形式化する。
• 繰り返しゲームを用いて実行可能報酬集合を凸化し、段階ゲームの結果の凸結合を均衡報酬として可能にする。
• 干渉を繰り返しゲームに統合することで、忍耐力要件を緩和し、標準的な繰り返しゲームの限界を超えて均衡報酬集合を拡大する。
• パrametric最適化アプローチを用いて、相対報酬偏差を表す変数Cを核とする最小報酬制約下での福祉最大化問題を解く。
• 特定の均衡報酬ベクトルを維持するために必要な最小割引因子の上界を閉形式で導出する。
• 自己生成集合と分解技術を用いて、純粋な行動プロファイルと継続報酬から再帰的に均衡戦略を構築する。

実験結果

リサーチクエスチョン

• RQ1 非凸1ショット報酬集合を有する通信システムにおいて、繰り返しゲームにおける干渉をどのように活用することで実現可能な均衡報酬集合を拡大できるか？
• RQ2 個々の合理的制約の下で、望ましい均衡報酬ベクトルを維持するために必要な最小干渉能力は何か？
• RQ3 干渉は、繰り返しゲームで効率的均衡を維持するために必要な忍耐力（すなわち割引因子）をどのように低減するか？
• RQ4 提案されたフレームワークは、非凸実行可能報酬を有するパワー制御やフローコントロールのようなシステムで、パレート最適または福祉最大化の結果を達成できるか？
• RQ5 干渉が存在する状況下で、特定の均衡報酬を維持するために必要な最小割引因子の解析的特徴は何か？

主な発見

• 本稿で提案するモデルは、繰り返しによる凸化と戦略的干渉を組み合わせることで、標準的な繰り返しゲームよりも大きな均衡報酬集合を達成する。
• 特定の均衡報酬ベクトルを維持するために必要な最小割引因子は、ユーザーの重み、ベースライン報酬、チャネル利得などのシステムパラメータを含む閉形式式によって上界で抑えられる。
• 最適解は、すべてのユーザーの最小保証報酬からの相対的報酬偏差が等しくなるバランス条件を満たしており、共通の乗数Cを用いて形式化される。
• 臨界的割引因子は、継続報酬の分解が自己生成集合内に留まるという条件から導かれる2次方程式を解くことで決定される。
• 最小割引因子の上界は、2つの項の最大値として与えられる：最小報酬からの相対的偏差と、システム全体のチャネルおよび重みパラメータの関数。
• アルゴリズムは、目標報酬を純粋な行動と継続報酬に再帰的に分解することで、均衡戦略を構築し、部分ゲーム完全性を保証する。