[論文レビュー] Learning in Non-convex Games with an Optimization Oracle

Naman Agarwal, Alon Gonen+1 more|arXiv (Cornell University)|Oct 17, 2018

Advanced Bandit Algorithms Research参考文献 16被引用数 5

ひとこと要約

この論文は、非凸設定におけるオンライン学習と統計的学習の計算的同等性を、効率的なオンライン学習を可能にする摂動付き最適化オラクルを導入することで確立する。主な結果は、$\ mathrm{poly}(d, 1/\epsilon)$ の多項式的オラクル複雑度であり、リプシッツ連続性と有界性の弱い仮定のもとで、非凸ゲーム（GANを含む）における均衡計算を効率的に行えることを可能にする。

ABSTRACT

We consider online learning in an adversarial, non-convex setting under the assumption that the learner has an access to an offline optimization oracle. In the general setting of prediction with expert advice, Hazan et al. (2016) established that in the optimization-oracle model, online learning requires exponentially more computation than statistical learning. In this paper we show that by slightly strengthening the oracle model, the online and the statistical learning models become computationally equivalent. Our result holds for any Lipschitz and bounded (but not necessarily convex) function. As an application we demonstrate how the offline oracle enables efficient computation of an equilibrium in non-convex games, that include GAN (generative adversarial networks) as a special case.

研究の動機と目的

• オンライン学習と統計的学習の間の計算的ギャップを、オンラインモデルが通常より困難であるとされる非凸設定で埋める。
• 線形摂動を許容するやや強化されたオラクルモデルを用いることで、オンライン学習が統計的学習と同等に効率的になることを示す。
• 摂動付きの目的関数を用いたオフライン最適化オラクルを用いて、非凸ゲームにおける均衡計算を効率的に行う。
• FTPLアルゴリズムを非凸設定に拡張し、リプシッツ連続性と有界性の仮定の下で多項式的オラクル複雑度を証明する。

提案手法

• 損失関数の系列とランダムな線形摂動ベクトル $\sigma$ を受け入れる、修正されたオフライン最適化オラクルを導入する。
• i.i.d. の指数分布に従う摂動 $\sigma$ を用いたFollow-the-Perturbed-Leader (FTPL) アルゴリズムを適用し、非凸設定における意思決定を安定化させる。
• 摂動付き累積損失の最小化子が高確率で最適な固定方策を近似するように、ランダム摂動戦略を用いる。
• 集中と被覆の議論を用いて期待リグレットを分析し、オラクル複雑度に対する多項式境界を導出する。
• 摂動付きオラクルを活用して、オンライン学習問題を制御誤差を持つ一連のオフライン最適化問題に還元する。
• 2人零和非凸ゲームにこのフレームワークを適用し、均衡収束がオラクルを用いた最良応答問題の解法に帰着することを示す。

実験結果

リサーチクエスチョン

• RQ1 最適化オラクルが利用可能な場合、非凸設定におけるオンライン学習を統計的学習と計算的に同等にできるか？
• RQ2 オラクルモデルにおける目的関数に線形摂動を許容することで、オンライン学習と統計的学習の間の指数的ギャップが解消されるか？
• RQ3 摂動付きFTPLアルゴリズムは、非凸・有界非凸・リプシッツ設定において多項式的オラクル複雑度を達成できるか？
• RQ4 GANを含む非凸ゲームにおける均衡計算は、対応するオフライン最良応答問題を解くのと同等に難しいか？

主な発見

• 提案されたアルゴリズムは、$\mathrm{poly}(d, 1/\epsilon)$ のオラクル複雑度を達成し、同じ仮定のもとで統計的学習の複雑度と一致する。
• 摂動付きFTPLアルゴリズムにより、$T \in \mathrm{poly}(d)/\epsilon^3$ ラウンド後、期待平均リグレットが $\epsilon$ 以下になることが保証される。
• 損失関数が $G$-リプシッツ連続かつ $B$-有界であれば、凸性がなくてもオンライン学習と統計的学習の計算的同等性が成立する。
• 2人零和非凸ゲームにおける均衡は、オフラインオラクルを用いて高確率で効率的に計算可能であり、$\epsilon$-近似均衡に到達する。
• このフレームワークはGANに直接適用可能であり、生成器と判別器の両プレイヤーが摂動付きオラクルとFTPLを用いて $\epsilon$-均衡に収束できる。
• 本研究は[11]で同定された難易度ギャップを解消し、オラクルモデルに摂動が許可されない場合にのみ指数的ギャップが生じることを示している。