[論文レビュー] Distributionally Robust Games: f-Divergence and Learning

Dario Bauso, Jian Gao+1 more|arXiv (Cornell University)|Feb 17, 2017

Agricultural risk and resilience被引用数 4

ひとこと要約

本稿では、f-発散を用いて分布的不確実性をモデル化する分布ロバストゲームを導入し、敵対的分布シフトに対してもロバストな均衡を実現する。三重性理論に基づく次元削減と確率的ブレグマン学習アルゴリズムを提案し、二重指数的収束を達成。勾配ダイナミクスに比べて収束速度とロバスト性が顕著に優れており、特に多峰性の目的関数を有する非凸設定でも有効である。

ABSTRACT

In this paper we introduce the novel framework of distributionally robust games. These are multi-player games where each player models the state of nature using a worst-case distribution, also called adversarial distribution. Thus each player's payoff depends on the other players' decisions and on the decision of a virtual player (nature) who selects an adversarial distribution of scenarios. This paper provides three main contributions. Firstly, the distributionally robust game is formulated using the statistical notions of $f$-divergence between two distributions, here represented by the adversarial distribution, and the exact distribution. Secondly, the complexity of the problem is significantly reduced by means of triality theory. Thirdly, stochastic Bregman learning algorithms are proposed to speedup the computation of robust equilibria. Finally, the theoretical findings are illustrated in a convex setting and its limitations are tested with a non-convex non-concave function.

研究の動機と目的

• ベイジアンおよび分布フリーなゲームモデルの限界を克服するため、分布間のf-発散を用いて不確実性をモデル化する新しいフレームワークを導入する。
• 三重性理論を活用して、ロバストゲーム問題における次元の呪いを克服し、ロバスト均衡の効率的計算を可能にする。
• 強い凸性を必要としないブレグマンに基づく学習アルゴリズムを構築し、ロバスト均衡への収束を加速する。
• 多峰性の報酬関数を有する非凸設定を含め、本手法の有効性を実証する。
• 混合戦略の凸化を用いて有限行動空間への拡張を図り、ロバスト混合均衡の存在を証明する。

提案手法

• 真の分布の周囲にf-発散による発散ボールを定義することで、分布ロバストゲームを定式化し、最悪ケースの敵対的分布をモデル化する。
• 三重性理論を適用して、無限次元のmax-min問題を有限次元の双対問題に変換し、計算複雑度を低減する。
• ブレグマン発散に基づくブレグマンダイナミクスを提案し、二重指数的減衰の理論的保証を得て収束を加速する。
• 粒子群を用いて高次元および非凸設定におけるロバスト均衡を近似する確率的ブレグマン学習を実装する。
• f-発散生成関数のレジェンドル＝フェンヒェル共役（例：指数分布族に対してはlog-sum-exp）を用いて双対定式化を導出する。
• ブレグマンフローを単一エージェントおよびマルチエージェント設定に適用し、分布ロバスト均衡への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 f-発散を用いて分布的不確実性をモデル化する分布ロバストゲームを、マルチエージェントシステムにおいて形式的に定義する方法は何か？
• RQ2 三重性理論を活用することで、分布ロバストゲーム問題の次元を低減でき、均衡の存在を保証できるか？
• RQ3 ブレグマンに基づく学習は、凸および非凸ゲームにおいて、標準的な勾配ダイナミクスに比べて収束速度とロバスト性で優れているか？
• RQ4 非凸かつ多峰性の報酬関数を有する状況において、確率的ブレグマン学習の性能はいかがなものか？（複数の局所最適解を有する）
• RQ5 混合戦略の凸化を用いて、有限行動空間へのフレームワークの拡張は可能か？また、ロバスト均衡の存在を保証する条件は何か？

主な発見

• 1000サンプルを用いた凸ケースにおいて、確率的ブレグマン学習アルゴリズムは古典的勾配ダイナミクスに比べて約20倍の時間で収束することが示された。
• ブレグマンダイナミクスに対して二重指数的減衰が理論的に確立され、分布ロバスト均衡への急速な収束が示された。
• 多峰性の目的関数を有する非凸設定では、ブレグマンアルゴリズムが（7.9, 7.9）でロバストナッシュ均衡に成功し、均衡性能は約7.88となった。
• 初期化の変更に伴い、ロバスト均衡（7.9, 7.9）から局所最大値（7.9, 5.1）への遷移が観察されたが、アルゴリズムは摂動に対してもロバストであった。
• 適切な条件下で分布ロバスト均衡の存在が証明され、特に混合戦略凸化を用いた有限行動空間に対しても成立する。
• 本手法は強い凸性の仮定を必要とせず、古典的勾配ベースの手法とは異なり、より広範な適用可能性を有する。