[論文レビュー] Distributionally Robust Games, Part I: f-Divergence and Learning.

Dario Bauso, Jian Gao+1 more|arXiv (Cornell University)|Feb 17, 2017

Risk and Portfolio Optimization参考文献 10被引用数 1

ひとこと要約

本稿では、f-発散を用いて自然の最悪分布をモデル化する分布ロバストゲームを導入し、三重性理論を用いて複雑性を低減し、ロバスト均衡を計算するための確率的ブレグマン学習アルゴリズムを提案する。このアプローチは凸および非凸設定で検証され、より優れたロバスト性と計算効率が示された。

ABSTRACT

In this paper we introduce the novel framework of distributionally robust games. These are multi-player games where each player models the state of nature using a worst-case distribution, also called adversarial distribution. Thus each player's payoff depends on the other players' decisions and on the decision of a virtual player (nature) who selects an adversarial distribution of scenarios. This paper provides three main contributions. Firstly, the distributionally robust game is formulated using the statistical notions of f-divergence between two distributions, here represented by the adversarial distribution, and the exact distribution. Secondly, the complexity of the problem is significantly reduced by means of triality theory. Thirdly, stochastic Bregman learning algorithms are proposed to speedup the computation of robust equilibria. Finally, the theoretical findings are illustrated in a convex setting and its limitations are tested with a non-convex non-concave function.

研究の動機と目的

• 「真の分布」と「敵対的分布」の間の乖離を測る指標としてf-発散を用いることで、分布的不確実性を考慮したマルチプレイヤーゲームの新規フレームワークを構築すること。
• f-発散を用いて真の分布と敵対的分布の間の乖離を測る指標として形式化し、ロバストゲームを定式化すること。
• ロバスト最適化問題に三重性理論を適用することで、計算複雑性を低減すること。
• ロバスト均衡を効率的に計算するための確率的ブレグマン学習アルゴリズムを設計すること。
• 凸および非凸非凹な設定においてフレームワークを評価し、その限界とロバスト性を検証すること。

提案手法

• 自然を仮想プレイヤーとしてモデル化し、f-発散の最小化によって敵対的分布を選択することで、分布ロバストゲームを定式化する。
• 三重性理論を適用して、ロバスト最適化問題をより取り扱いやすい形に変換し、計算複雑性を低減する。
• 勾配に類似した更新とブレグマン発散正則化を用いて、反復的にプレイヤー戦略を更新する確率的ブレグマン学習アルゴリズムを導入する。
• f-発散の双対表現を用いて、ロバスト報酬を分布的不確実性集合上の最悪期待値として表現する。
• 敵対的分布選択に起因するミニマックス構造を扱うために、サドルポイント定式化を採用する。
• 凸ケースでは凸緩和アプローチを用い、非凸設定への拡張には反復的学習ダイナミクスを適用する。

実験結果

リサーチクエスチョン

• RQ1 マルチプレイヤーゲームは、自然の状態における分布的不確実性をロバスト最適化の原則を用いてどのように拡張できるか？
• RQ2 ロバストゲーム理論的設定において、f-発散は敵対的分布の不確実性集合をモデル化するために果たす役割は何か？
• RQ3 三重性理論を活用することで、分布ロバストゲームの解法における計算複雑性を低減できるか？
• RQ4 確率的ブレグマン学習アルゴリズムは、凸および非凸設定の両方でロバスト均衡への収束性をどのように示すか？
• RQ5 非凸非凹な報酬関数に対して適用した場合、提案フレームワークの限界は何か？

主な発見

• f-発散の使用により、ゲーム理論的モデル内での自然の状態における分布的不確実性を原理的かつ柔軟にモデル化できる。
• 三重性理論により、非凸ミニマックス問題をより取り扱いやすい形に変換することで、分布ロバストゲームの解法における計算複雑性が顕著に低減された。
• 凸設定では、確率的ブレグマン学習アルゴリズムがロバスト均衡に収束し、計算効率と安定性を示した。
• 非凸非凹な設定では、提案されたアルゴリズムでさえ収束を達成するが、収束速度は遅く、初期値に敏感である可能性がある。
• フレームワークは、分布シフト下での最悪行動を効果的に捉え、標準的なゲーム理論的モデルと比較してロバスト性が向上した。
• 実験結果により、ロバスト均衡が分布シフトに対して感受性が低く、理論的ロバスト性特性が妥当であることが確認された。