[論文レビュー] On Game-Theoretic Risk Management (Part Two) -- Algorithms to Compute Nash-Equilibria in Games with Distributions as Payoffs

Stefan Raß|arXiv (Cornell University)|Nov 27, 2015

Decision-Making and Behavioral Economics参考文献 10被引用数 5

ひとこと要約

本稿では、報酬が決定論的値ではなく確率分布である2人ゼロ和ゲームにおけるナッシュ均衡を計算するデータ駆動型のアルゴリズムフレームワークを提示する。報酬密度のテール近似を組み込んだ修正仮想的プレー（fictitious play）と、収束を保証するための線形計画法を導入し、分布的報酬下でのマルチクリテリア・セキュリティ戦略の実用的計算を可能にする。

ABSTRACT

The game-theoretic risk management framework put forth in the precursor work "Towards a Theory of Games with Payoffs that are Probability-Distributions" (arXiv:1506.07368 [q-fin.EC]) is herein extended by algorithmic details on how to compute equilibria in games where the payoffs are probability distributions. Our approach is "data driven" in the sense that we assume empirical data (measurements, simulation, etc.) to be available that can be compiled into distribution models, which are suitable for efficient decisions about preferences, and setting up and solving games using these as payoffs. While preferences among distributions turn out to be quite simple if nonparametric methods (kernel density estimates) are used, computing Nash-equilibria in games using such models is discovered as inefficient (if not impossible). In fact, we give a counterexample in which fictitious play fails to converge for the (specifically unfortunate) choice of payoff distributions in the game, and introduce a suitable tail approximation of the payoff densities to tackle the issue. The overall procedure is essentially a modified version of fictitious play, and is herein described for standard and multicriteria games, to iteratively deliver an (approximate) Nash-equilibrium. An exact method using linear programming is also given.

研究の動機と目的

• 報酬が確率分布であるゲームにおけるナッシュ均衡を計算する実用的アルゴリズムを開発し、理論的基盤を越えてゲーム理論的リスク管理を展開すること。
• 複雑な分布的報酬のため、標準的仮想的プレーが収束しないという課題に対処すること。
• 複数の、おそらく矛盾するセキュリティ目標を同時に考慮するセキュリティ戦略の計算を通じて、マルチクリテリアリスク管理を可能にすること。
• 特化した近似技術と正確な線形計画法の解法により、分布的報酬を持つゲームにおける収束性と計算可能性を保証すること。
• 実世界のインフラネットワークや類似システムにおけるリスク管理の実装を支援する、実装可能なアルゴリズムを提供すること。この手法は、実証データとシミュレーションベースの分布推定を根拠としている。

提案手法

• 実証データ（例：シミュレーション出力）からコンパクトにサポートされた連続的分布モデルを構築するために、Epanechnikovカーネル密度推定を用いる。これにより、有界なサポートと滑らかさが保証される。
• モーメント優位性に基づく順序関係を導入する：分布F₁ ≼ F₂ であるとは、F₁の十分に高いモーメントがすべてF₂のそれ以下である場合を意味する。これにより、リスクプロファイルの比較が可能になる。
• 2段階の近似を導入する。第1段階：カーネル密度推定。第2段階：分布のテール部に対するテイラー多項式近似。これにより、テール依存の順序関係が保持される。
• 仮想的プレーを修正し、分布的報酬をテール近似された分布から導出された近似実数行列に置き換える。これにより、標準的な反復的収束技法が適用可能になる。
• 反復的手法に内在する収束不良の問題を回避するため、マルチゴールセキュリティ戦略を求めるために正確な線形計画法の解法を提案する。
• マルチクリテリアゲームを、重み付き報酬集約によりスカラー化することで変換し、防衛側のマルチゴール最適化下での最悪ケース攻撃者戦略の計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 報酬が決定論的値ではなく確率分布であるゲームにおいて、ナッシュ均衡はどのように計算可能か？
• RQ2 なぜ標準的仮想的プレーは分布的報酬を持つゲームでは収束しなくなるのか。また、その失敗はどのように是正できるか？
• RQ3 どのような近似技術が、効率的な計算を可能にしつつも、重要なモーメントに基づくリスク好み順序（F₁ ≼ F₂）を保つのか？
• RQ4 複数の、おそらく矛盾するセキュリティ目標を有するゲームにおいて、マルチクリテリアセキュリティ戦略はどのように計算可能か？
• RQ5 このようなゲームに対して線形計画法を用いて正確な解を得ることは可能か。また、反復的近似手法と比べてどのように異なるか？

主な発見

• 本稿では、反例を通じて、ナチュラルなカーネル密度推定を用いた場合、分布的報酬を持つゲームでは仮想的プレーが収束しないことが示された。
• テイラー多項式によるテール近似は、中央部の近似が不正確であっても、モーメントに基づくリスク好み順序（F₁ ≼ F₂）を保持する。これにより、正しいリスク比較が保証される。
• テール近似を組み込んだ修正仮想的プレーは、収束問題を克服し、分布的報酬を持つゲームにおいて近似的なナッシュ均衡を効果的に計算可能である。
• 線形計画法により、マルチゴールセキュリティ戦略の正確な解法が得られ、反復的手法に内在する収束不良の問題を回避する信頼できる代替手段が提供される。
• 本手法により、防衛側のマルチゴール最適化下での最悪ケース攻撃者戦略の実用的計算が可能となり、防衛側のマルチゴール防衛戦略に対して耐性があることが保証される。
• 分布の中央部における近似誤差が存在しても、リスク好み順序が正しく特定される。これは、順序関係がテールモーメントにのみ依存するためであり、テイラー展開によりテール部は良好に近似されるからである。