[論文レビュー] Acceleration through Optimistic No-Regret Dynamics

Jun-Kun Wang, Jacob Abernethy|arXiv (Cornell University)|Jul 27, 2018

Advanced Bandit Algorithms Research被引用数 19

ひとこと要約

この論文は、Fenchel Game（Fenchelゲーム）として定式化された凸最適化を零和ゲームとして扱い、加速最適化と楽観的ノーリグレット学習ダイナミクスの間の接続を確立する。両プレイヤーに楽観的オンライン学習を適用することで、O(1/T²)の収束速度を達成し、これはネステロフの加速手法を正確に回復し、HeavyBall や Frank-Wolfe といった他のアルゴリズムを一つのフレームワークで統一する。

ABSTRACT

We consider the problem of minimizing a smooth convex function by reducing the optimization to computing the Nash equilibrium of a particular zero-sum convex-concave game. Zero-sum games can be solved using online learning dynamics, where a classical technique involves simulating two no-regret algorithms that play against each other and, after $T$ rounds, the average iterate is guaranteed to solve the original optimization problem with error decaying as $O(\log T/T)$. In this paper we show that the technique can be enhanced to a rate of $O(1/T^2)$ by extending recent work \cite{RS13,SALS15} that leverages extit{optimistic learning} to speed up equilibrium computation. The resulting optimization algorithm derived from this analysis coincides extit{exactly} with the well-known \NA \cite{N83a} method, and indeed the same story allows us to recover several variants of the Nesterov's algorithm via small tweaks. We are also able to establish the accelerated linear rate for a function which is both strongly-convex and smooth. This methodology unifies a number of different iterative optimization methods: we show that the \HB algorithm is precisely the non-optimistic variant of \NA, and recent prior work already established a similar perspective on \FW \cite{AW17,ALLW18}.

研究の動機と目的

• オンライン学習とゲーム理論的ダイナミクスを用いて、ネステロフの加速勾配法を統一的かつ直感的に説明すること。
• 零和ゲームにおける楽観的学習を用いて、ノーリグレットダイナミクスの収束速度をO(1/T)からO(1/T²)に向上させること。
• Fenchel Gameにこのフレームワークを適用した際に、ネステロフの加速法が自然に導かれることが示されること。
• 強い凸関数に対してもこのフレームワークを拡張し、加速線形収束率を確立すること。
• HeavyBall や Frank-Wolfe といった既存の最適化手法を、レグレット最小化に楽観性を組み込んだ同一のメタアルゴリズムで統一すること。

提案手法

• 凸最適化問題 minₓ f(x) をFenchel共役を用いて零和ゲームに定式化し、ペイオフ関数を g(x,y) = ⟨x,y⟩ − f*(y) とする。
• x と y のそれぞれにオンライン学習アルゴリズムを適用し、互いにノーリグレット設定で対戦させる。
• 時間依存重み αₜ を導入した重み付きレグレットを用いて収束解析を精緻化し、より高速な収束率を実現する。
• 各プレイヤーが過去の勾配に基づいて次の行動を予測する楽観的学習ダイナミクスを導入し、標準的なノーリグレット境界を超える収束を実現する。
• 平均反復 (x̄ₜ, ȳₜ) を鞍点の近似とし、その誤差を重み付きレグレットの和で上界づけられるようにする。
• 適切な学習則と重みの選択により、レグレットが O(1/T²) に減少することを示し、f(x̄ₜ) の収束速度も O(1/T²) となる。

実験結果

リサーチクエスチョン

• RQ1 楽観的オンライン学習ダイナミクスは、ゲーム理論的還元を用いて凸最適化問題を解く際に、O(1/T²)の収束を達成できるか？
• RQ2 Fenchel Gameフレームワークは、オンライン学習の原則からどのようにネステロフの加速法を回復可能にするか？
• RQ3 楽観性は、零和ゲームにおける標準的ノーリグレットダイナミクスを上回る収束を加速するために果たす役割は何か？
• RQ4 同じフレームワークは、HeavyBall や Frank-Wolfe といった他の加速手法を説明・統一できるか？
• RQ5 このフレームワークは、強い凸かつ滑らかな関数に対し、加速線形収束を達成できるか？

主な発見

• 提案された楽観的ノーリグレットダイナミクスは、滑らかな凸関数の最小化においてO(1/T²)の収束速度を達成し、標準的なO(log T / T)の速度を著しく上回る。
• 得られたアルゴリズムは、ネステロフの加速勾配法と正確に一致し、加速がゲーム理論的設定における楽観的学習から自然に生じることを示している。
• フレームワークは、ネステロフ法の非楽観的バージョンとしてHeavyBall法を回復し、これらのアルゴリズムの間に明確な階層関係を確立している。
• この手法は、Frank-Wolfe や他の一次元最適化手法を同一のメタフレームワークに統一し、それらが同じダイナミクスの特殊ケースであることを示している。
• 強い凸かつ滑らかな関数に対しては、フレームワークが加速線形収束率を達成しており、この手法の堅牢性を裏付けている。
• O(1/T²)の収束速度を達成するには強い凸性を仮定しなくてもよく、滑らかさのみを仮定することで楽観的ダイナミクスによって加速が可能であることを示している。