[論文レビュー] Efficient Regret Minimization in Non-Convex Games

Elad Hazan, Karan Singh+1 more|arXiv (Cornell University)|Jul 31, 2017

Advanced Bandit Algorithms Research参考文献 9被引用数 20

ひとこと要約

本稿では、非凸ゲームにおける計算的に効率的なレグルゲーションの概念—ローカルレグルゲーション—を導入し、勾配ベースのアルゴリズムが最適なレグルゲーションバウンドを達成し、滑らか化されたローカル均衡への収束を保証することを可能にする。主な貢献は、非凸設定において意味的かつ計算的に容易に達成可能なゲーム理論的解概念を提供することであり、経験リプレイを用いたGAN訓練への直接応用が可能である。

ABSTRACT

We consider regret minimization in repeated games with non-convex loss functions. Minimizing the standard notion of regret is computationally intractable. Thus, we define a natural notion of regret which permits efficient optimization and generalizes offline guarantees for convergence to an approximate local optimum. We give gradient-based methods that achieve optimal regret, which in turn guarantee convergence to equilibrium in this framework.

研究の動機と目的

• 非凸ゲームにおける標準的レグルゲーション最小化の計算的非実行可能性—つまり、グローバル最適化がNP困難であること—に対処すること。
• 近似ローカル最適解への収束に関するオффライン保証を一般化する、計算的に実行可能なレグルゲーションの新規概念—ローカルレグルゲーション—を定義すること。
• この新しいフレームワーク下で最適なレグルゲーションを達成する、効率的な勾配ベースのアルゴリズムを開発すること。
• 非凸設定で効率的に達成可能な、画期的なゲーム理論的解概念—滑らか化されたローカル均衡—を導入すること。
• 経験リプレイを用いて、特にGANにおける敵対的訓練におけるフレームワークの実用的有用性を示すこと。

提案手法

• ローカル最適性を捉えるために、過去の損失のスライディングウインドウ上での定義である、標準的レグルゲーションの代替概念としてローカルレグルゲーションを導入する。
• ローカルレグルゲーションを効率的に最小化するための、時間スムージングを施した射影勾配法であるアルゴリズム2を提案する。
• ウィンドウサイズ $w$ の時間スムージング損失関数を定義し、最後の $w$ 個の損失関数の平均として定義する。
• 安定性と定常点への収束を保証するため、正則化された勾配オракル $\nabla_{\mathcal{K},\eta}$ を用いる。
• 繰り返し非凸ゲームにおいて、プレイヤーが確率的勾配オラクルを用いてローカルレグルゲーションを最小化する。
• 過去の戦略のバッファを維持し、滑らか化されたローカル均衡を計算する、共同学習手順であるアルゴリズム4を導入する。

実験結果

リサーチクエスチョン

• RQ1 非凸ゲームにおいて、効率的な最適化とローカル最適解への収束を可能にするレグルゲーションの概念を定義できるか？
• RQ2 この新しいレグルゲーション定義下で、最適なレグルゲーションを達成する勾配ベースのアルゴリズムをどのように設計できるか？
• RQ3 非凸設定におけるローカルレグルゲーション最小化から、どのようなゲーム理論的解概念が生じるか？
• RQ4 このフレームワークは、損失関数が非凸であるGANの訓練を安定化させるために応用可能か？
• RQ5 非凸ゲームにおける均衡を達成する計算的に効率的な方法は存在するか？特に、ナッシュ均衡の非実行可能性を回避できるか？

主な発見

• 提案されたローカルレグルゲーション最小化フレームワークは、滑らか化されたローカル均衡に対して最適なレグルゲーションバウンド $O(\sqrt{\sum_{i=1}^{k}\mathfrak{R}_{w,\mathcal{A}_i}(T)/(T-w)})$ を達成する。
• ウィンドウサイズ $w$ が与えられたとき、あるラウンド $t \in [w, T]$ における連携戦略は、$\varepsilon = \sqrt{\sum_{i=1}^{k}\mathfrak{R}_{w,\mathcal{A}_i}(T)/(T-w)}$ を用いて $\varepsilon$-近似 $(\eta, w)$-滑らか化ローカル均衡を形成する。
• フレームワークは、滑らか化損失の勾配ノルムが小さい点への収束を保証し、これがローカル最適性を示している。
• この手法は、GAN訓練に適用可能であり、過去のモデルのバッファ（経験リプレイ）を維持することは、ウィンドウ型スムージング機構に対応する。
• 理論的裏付けがあり、計算的に効率的なナッシュ均衡の代替手段を提供し、敵対的訓練における実用的安定性の利点を有する。
• フレームワークは確率的およびオフライン設定へ一般化可能であり、標準的な滑らかさおよび有界性の仮定の下で収束保証を維持する。