[論文レビュー] On The Convergence of a Nash Seeking Algorithm with Stochastic State Dependent Payoff

Ahmed Farhan Hanif, Hamidou Tembiné+2 more|arXiv (Cornell University)|Sep 30, 2012

Extremum Seeking Control Systems参考文献 12被引用数 9

ひとこと要約

本稿では、確率的で状態依存の報酬関数を伴う非協力ゲームに対して、正弦波摂動と確率的近似を用いた分散型ナッシュ均衡探索アルゴリズムを提案する。可縮ステップサイズのもとで、ほぼ確実に制限された常微分方程式（ODE）軌道に収束することを確立し、固定ステップサイズの場合には誤差バウンドを提供する。これにより、従来の決定的勾配ベースの手法が、無線ネットワークにおけるノイズありで状態依存の環境へと拡張される。

ABSTRACT

Distributed strategic learning has been getting attention in recent years. As systems become distributed finding Nash equilibria in a distributed fashion is becoming more important for various applications. In this paper, we develop a distributed strategic learning framework for seeking Nash equilibria under stochastic state-dependent payoff functions. We extend the work of Krstic et.al. in [1] to the case of stochastic state dependent payoff functions. We develop an iterative distributed algorithm for Nash seeking and examine its convergence to a limiting trajectory defined by an Ordinary Differential Equation (ODE). We show convergence of our proposed algorithm for vanishing step size and provide an error bound for fixed step size. Finally, we conduct a stability analysis and apply the proposed scheme in a generic wireless networks. We also present numerical results which corroborate our claim.

研究の動機と目的

• 確率的で状態依存の報酬関数を伴う非協力ゲームにおいて、ナッシュ均衡に収束する分散型学習アルゴリズムを開発すること。
• 勾配情報にアクセスできない状況で、ノイズありのサンプルベースの報酬観測のみが利用可能な状況に、既存の勾配ベースのナッシュ探索手法を拡張すること。
• 最小限の仮定のもとで、理論的収束特性を確立すること—具体的には、ステップサイズがゼロに近づく際のODEの極限へのほぼ確実な収束と、固定ステップサイズにおける誤差バウンド。
• 一般的な無線ネットワーク設定においてアルゴリズムを検証し、数値結果を通じてそのロバストネスを示すこと。

提案手法

• 真の勾配が未知である確率的で状態依存の環境において、報酬関数の勾配推定に正弦波摂動を用いる。
• 時間変動するステップサイズを用いた確率的近似フレームワークを採用し、行動の進化を摂動を含む確率過程としてモデル化する。
• 収束解析は弱収束理論に依拠し、ステップサイズがゼロに近づく際、補間過程がODEの解に収束することを示す。
• 離散グロワンデルの不等式とバーグハウザーの不等式を用いて、摂動ありと摂動なしの軌道間の誤差をバウンドし、安定性を保証する。
• 実用的応用における妥当性を確保するため、行動を有界な区間内に保つための射影演算子を組み込む。
• 理論的結果は、状態空間のコンact性および報酬関数とその勾配のリプシッツ連続性に関する仮定に基づいて導出される。

実験結果

リサーチクエスチョン

• RQ1 勾配情報にアクセスできない状況で、ノイズありのサンプルベースの報酬観測のみが利用可能な場合に、分散型ナッシュ均衡探索アルゴリズムが収束可能か。
• RQ2 ステップサイズが消える場合と固定されている場合のアルゴリズムの挙動はどのように異なるか。固定ステップサイズの場合にどの程度の誤差バウンドを確立できるか。
• RQ3 確率的摂動手法が、状態依存でノイズのある環境でも、制限されたODE軌道に収束することを保証できるか。
• RQ4 無線ネットワーク応用例において、有効ゲイン行列の可逆性を保証する条件は何か。
• RQ5 ランダムなチャネルゲインを伴う現実的な無線ネットワーク設定において、アルゴリズムの性能はいかがであるか。

主な発見

• ステップサイズがゼロに近づく際、提案アルゴリズムはほぼ確実に、常微分方程式（ODE）で記述される制限軌道に収束する。
• 固定ステップサイズの場合、誤差バウンドがO(√λ)のオーダーとなり、λ（ステップサイズ）→0のとき誤差が消えることが示された。
• 理論的解析により、補間過程が弱収束してODEの解に収束することが確認され、バーグハウザーの不等式と離散グロワンデルの不等式がその根拠となった。
• 行列Ḡ（期待チャネルゲインの行列）は、各行において対角成分が非対角成分の和を上回るという条件下で可逆であることが示された。
• 無線ネットワーク応用における数値結果により、理論的収束性と安定性が確認され、確率的で状態依存の報酬関数下でもロバストな性能を示した。
• 行動が有界区間[0, a_max]に射影されることにより、アルゴリズムは実装可能性と安定性を維持しており、実用的実装が可能であることが保証された。