[論文レビュー] Follow the Perturbed Leader: Optimism and Fast Parallel Algorithms for Smooth Minimax Games

Arun Sai Suggala, Praneeth Netrapalli|arXiv (Cornell University)|Jun 13, 2020

Advanced Bandit Algorithms Research参考文献 11被引用数 4

ひとこと要約

本稿では、予測可能な損失関数を考慮してレジーット境界を改善しつつも、最悪ケースのレジーットを保つために、予測可能性を活用する新しいオンライン学習アルゴリズムである「楽観的フォローザ・ペチューブド・リーダー（OFTPL）」を提案する。平滑なミニマックスゲームにおいて、OFTPLはわずか $O(T^{1/2})$ の並列反復回数と $T$ 回のオракル呼び出しで $O(T^{-1/2})$ の収束を達成し、従来の手法に比べて並列性が著しく向上する。

ABSTRACT

We consider the problem of online learning and its application to solving minimax games. For the online learning problem, Follow the Perturbed Leader (FTPL) is a widely studied algorithm which enjoys the optimal $O(T^{1/2})$ worst-case regret guarantee for both convex and nonconvex losses. In this work, we show that when the sequence of loss functions is predictable, a simple modification of FTPL which incorporates optimism can achieve better regret guarantees, while retaining the optimal worst-case regret guarantee for unpredictable sequences. A key challenge in obtaining these tighter regret bounds is the stochasticity and optimism in the algorithm, which requires different analysis techniques than those commonly used in the analysis of FTPL. The key ingredient we utilize in our analysis is the dual view of perturbation as regularization. While our algorithm has several applications, we consider the specific application of minimax games. For solving smooth convex-concave games, our algorithm only requires access to a linear optimization oracle. For Lipschitz and smooth nonconvex-nonconcave games, our algorithm requires access to an optimization oracle which computes the perturbed best response. In both these settings, our algorithm solves the game up to an accuracy of $O(T^{-1/2})$ using $T$ calls to the optimization oracle. An important feature of our algorithm is that it is highly parallelizable and requires only $O(T^{1/2})$ iterations, with each iteration making $O(T^{1/2})$ parallel calls to the optimization oracle.

研究の動機と目的

• 予測可能な損失系列を活用できない現在のフォローザ・ペチューブド・リーダー（FTPL）の制限を是正すること。現状では最悪ケースのレジーットが最適であるが、予測可能性がある場合のよりタイトな境界は達成できない。
• 予測可能性を活用してより良いレジーット保証を達成しつつも、最悪ケースのロバスト性を損なわないFTPLの変種、すなわち「楽観的FTPL（OFTPL）」を考案すること。
• 平滑な凸-凹および非凸-非凹ミニマックスゲームを高速に解く、高並列性を実現するアルゴリズムを設計すること。
• GAN や敵対的訓練などの応用分野における大規模な学習を効率化するために、反復回数を削減し、並列オラクルアクセスを可能にする仕組みを提供すること。

提案手法

• 過去の情報に基づいて将来の損失関数を楽観的に予測する手法を組み込んだ、FTPLの変種であるOFTPLを提案する。
• 摂動を正則化としての双対的視点を用いて、アルゴリズムの確率的および楽観的成分を分析する。
• 平滑な凸-凹ゲームでは線形最適化オラクルを、非凸-非凹ゲームでは摂動付きベストリスポンスオラクルを用いる。
• 各反復で $O(T^{1/2})$ 回の並列オラクル呼び出しを伴い、合計 $O(T^{1/2})$ 回の反復で $O(T^{-1/2})$ の収束レートを達成する。
• 解析におけるレジーットと分散のバランスを図るために、適切に調整された正則化パラメータ $\eta$ とオラクルサンプリングサイズ $m$ を採用する。
• Fenchel共役双対性と強い凸性／滑らかさの性質を活用し、定理 H.5 および H.6 に基づく共役関数の性質を用いて、レジーット境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 損失関数が予測可能である場合に、FTPLにおける楽観性が最悪ケース性能を劣化させることなく、より良いレジーット境界を達成できるか？
• RQ2 摂動を正則化としての双対的視点を用いることで、OFTPLの確率的および楽観的成分をどのように分析できるか？
• RQ3 オンラインミニマックスゲームの解法において、収束レート、反復回数、並列化の最適なトレードオフは何か？
• RQ4 OFTPLは、従来の手法よりも著しく少ない反復回数で $O(T^{-1/2})$ の収束を達成しつつ、オラクル効率を維持できるか？
• RQ5 ミニマックスゲームにおいて、FTRLスタイルの楽観的アルゴリズムと比較して、OFTPLはレジーット保証および計算効率の点で優れているか？

主な発見

• OFTPLは、ミニマックスゲームの両プレイヤーに対して、$O(d^2 D^2 (L+1) \log d + G D \sqrt{\log(8/\delta)}) + O(\min(D^2 L T, \frac{d^2 G^2 \log T}{L} + \frac{d G^2 \log(8/\delta)}{L}))$ のレジーット境界を達成する。
• アルゴリズムは最適化オラクルをたった $T$ 回の呼び出しで用い、$O(T^{-1/2})$ の精度に収束する。
• 反復回数はたった $O(T^{1/2})$ 回に抑えられ、各反復で $O(T^{1/2})$ 回の並列オラクル呼び出しが可能であり、高い並列性を実現する。
• 解析により、摂動が正則化として機能し、楽観的アプローチによってよりタイトなレジーット境界が達成可能であることが示された。
• 平滑な凸-凹ゲームでは線形最適化オラクルのみが要求され、非凸-非凹ゲームでは摂動付きベストリスポンスオラクルで十分である。
• 損失関数が予測不能であっても、標準的なFTPLが持つ $O(T^{1/2})$ の最悪ケースレジーット保証をOFTPLが維持している。