[論文レビュー] Beyond Online Balanced Descent: An Optimal Algorithm for Smoothed Online Optimization

Gautam Goel, Yiheng Lin+2 more|arXiv (Cornell University)|May 29, 2019

Optimization and Search Problems参考文献 33被引用数 24

ひとこと要約

本稿では、強い凸性を持つヒットコストと二乗 $\varepsilon_2$-ノルム移動コストを伴う滑らかオンライン凸最適化（SOCO）のための、2つの新しいアルゴリズム、Greedy OBD（G-OBD）およびRegularized OBD（R-OBD）を提案する。新たな $\Omega(m^{-1/2})$ の競争比の下界を確立し、G-OBDおよびR-OBDが両方とも最適な $O(m^{-1/2})$ の競争比を達成することを示し、従来のアルゴリズムと理論的限界の間のギャップを埋めることに成功した。

ABSTRACT

We study online convex optimization in a setting where the learner seeks to minimize the sum of a per-round hitting cost and a movement cost which is incurred when changing decisions between rounds. We prove a new lower bound on the competitive ratio of any online algorithm in the setting where the costs are $m$-strongly convex and the movement costs are the squared $\ell_2$ norm. This lower bound shows that no algorithm can achieve a competitive ratio that is $o(m^{-1/2})$ as $m$ tends to zero. No existing algorithms have competitive ratios matching this bound, and we show that the state-of-the-art algorithm, Online Balanced Decent (OBD), has a competitive ratio that is $Ω(m^{-2/3})$. We additionally propose two new algorithms, Greedy OBD (G-OBD) and Regularized OBD (R-OBD) and prove that both algorithms have an $O(m^{-1/2})$ competitive ratio. The result for G-OBD holds when the hitting costs are quasiconvex and the movement costs are the squared $\ell_2$ norm, while the result for R-OBD holds when the hitting costs are $m$-strongly convex and the movement costs are Bregman Divergences. Further, we show that R-OBD simultaneously achieves constant, dimension-free competitive ratio and sublinear regret when hitting costs are strongly convex.

研究の動機と目的

• 滑らかオンライン凸最適化（SOCO）において、強い凸性を持つヒットコストを伴う設定において、既存のアルゴリズムの性能と理論的下界の間のギャップを埋めること。
• $m$-強い凸性を持つヒットコストと二乗 $\ell_2$ 移動コストを伴う設定において、任意のオンラインアルゴリズムの競争比に対する非自明な下界を確立すること。
• 新たに確立された下界と一致する新しいアルゴリズムを設計し、最適な競争性能を達成すること。
• R-OBDが強い凸性のもとで、定数かつ次元に依存しない競争比と非線形のリグレットを同時に達成できることを示すこと。

提案手法

• 適切に構築された敵対的コスト関数の系列を用いて、競争比に対する新たな下界を導出。$m \to 0$ のとき、いかなるアルゴリズムも $\Omega(m^{-1/2})$ よりも良好な性能を達成できないことを示した。
• オンラインバランスドデセント（OBD）の性能を分析し、その競争比が $\Omega(m^{-2/3})$ であることを証明。これは新たな下界よりも著しく悪い。
• ヒットコストとグリーディな移動ペナルティの組み合わせを最小化する行動選択を行うGreedy OBD（G-OBD）を提案。準凸ヒットコストのもとで、$O(m^{-1/2})$ の競争比を達成することを証明。
• Bregman発散に基づく正則化項を組み込んだRegularized OBD（R-OBD）を導入。$m$-強い凸ヒットコストのもとで、$O(m^{-1/2})$ の競争比を証明。
• Bregman発散の性質と凸解析の道具（特にコーシー・シュワルツとAM-GMの不等式）を用いて、オンラインとオフラインコストの差をバウンディング。
• Bregman発散を用いたポテンシャル関数の議論を用いて、累積コスト差を追跡し、競争比の上限を導出。

実験結果

リサーチクエスチョン

• RQ1 $m$-強い凸ヒットコストと二乗 $\ell_2$ 移動コストを伴うSOCOにおける、オンラインアルゴリズムの競争比の根本的限界は何か？
• RQ2 最先端のOBDアルゴリズムと理論的下界の間の性能ギャップは、解消可能か？
• RQ3 最適な $O(m^{-1/2})$ の競争比を達成するOBDの新規変種は存在するか？
• RQ4 強い凸性の設定において、アルゴリズムが同時に定数の競争比と非線形リグレットを達成できるか？

主な発見

• $m$-強い凸性と二乗 $\ell_2$ 移動コストを伴う設定において、任意のオンラインアルゴリズムの競争比に対する新たな下界 $\Omega(m^{-1/2})$ を証明した。
• 最先端のOBDアルゴリズムの競争比が $\Omega(m^{-2/3})$ であることが示され、これは新たな下界よりも1桁悪い性能であることが判明した。
• グリーディOBD（G-OBD）は、ヒットコストが準凸であり、移動コストが二乗 $\ell_2$ の場合、$O(m^{-1/2})$ の競争比を達成する。
• 正則化OBD（R-OBD）は、$m$-強い凸ヒットコストとBregman発散移動コストのもとで、$O(m^{-1/2})$ の競争比を達成する。
• ヒットコストが強い凸性を満たす場合、R-OBDは定数かつ次元に依存しない競争比と非線形リグレットを同時に達成する。
• 解析により、R-OBDの競争比が最適であり、確立された下界と一致することが確認された。