[論文レビュー] Revisiting Smoothed Online Learning

Lijun Zhang, Wei Jiang+2 more|arXiv (Cornell University)|Feb 13, 2021

Advanced Bandit Algorithms Research参考文献 58被引用数 4

ひとこと要約

本稿は、最適化を通じて打撃コストとスイッチングコストのバランスを取ることで、滑らかなオンライン学習を再考する。凸でλ-2次成長関数である場合、改善された競合比—最大で$1 + \frac{2}{\sqrt{\lambda}}$—を達成し、スイッチングコストを組み込んだSmoothed Aderと呼ばれるアルゴリズムを導入。このアルゴリズムは、パス長の正則性に適応する$O(\sqrt{T(1+P_T)})$の動的リグレット境界を達成し、一致する下界によって確認されている。

ABSTRACT

In this paper, we revisit the problem of smoothed online learning, in which the online learner suffers both a hitting cost and a switching cost, and target two performance metrics: competitive ratio and dynamic regret with switching cost. To bound the competitive ratio, we assume the hitting cost is known to the learner in each round, and investigate the simple idea of balancing the two costs by an optimization problem. Surprisingly, we find that minimizing the hitting cost alone is $\max(1, \frac{2}α)$-competitive for $α$-polyhedral functions and $1 + \frac{4}λ$-competitive for $λ$-quadratic growth functions, both of which improve state-of-the-art results significantly. Moreover, when the hitting cost is both convex and $λ$-quadratic growth, we reduce the competitive ratio to $1 + \frac{2}{\sqrtλ}$ by minimizing the weighted sum of the hitting cost and the switching cost. To bound the dynamic regret with switching cost, we follow the standard setting of online convex optimization, in which the hitting cost is convex but hidden from the learner before making predictions. We modify Ader, an existing algorithm designed for dynamic regret, slightly to take into account the switching cost when measuring the performance. The proposed algorithm, named as Smoothed Ader, attains an optimal $O(\sqrt{T(1+P_T)})$ bound for dynamic regret with switching cost, where $P_T$ is the path-length of the comparator sequence. Furthermore, if the hitting cost is accessible in the beginning of each round, we obtain a similar guarantee without the bounded gradient condition, and establish an $Ω(\sqrt{T(1+P_T)})$ lower bound to confirm the optimality.

研究の動機と目的

• 打撃コストのみを最小化する性能の分析と、重み付き和最小化を通じて、滑らかなオンライン学習における競合比の境界を改善すること。
• コンパレータ系列のパス長の正則性に適応するスイッチングコスト付きの動的リグレット境界を構築すること。
• 一致する$\Omega(\sqrt{T(1+P_T)})$下界を通じて、提案されたアルゴリズムの最適性を確立すること。
• 打撃コスト関数に対する異なる仮定を分析することで、競合比と動的リグレットの洞察を統合すること。
• 滑らかなオンライン学習を通じて、スイッチ制約付き学習と継続的学習の理論的基盤を提供すること。

提案手法

• 各ラウンドで打撃コストとスイッチングコストの重み付き和を最小化する戦略を、コストのバランスを取るグリーディ戦略として提案する。
• α-多面体およびλ-2次成長関数の下で競合比を分析し、それぞれ$\max(1, \frac{2}{\alpha})$および$1 + \frac{4}{\lambda}$の境界を導出する。
• スイッチングコストを性能評価に組み込んだAderの変種であるSmoothed Ader (SAder)を導入する。
• 隠れた打撃コストを伴う標準的なオンライン凸最適化の下で、SAderの$O(\sqrt{T(1+P_T)})$の動的リグレット境界を導出する。
• 打撃コストの事前知識を活用する見通し型変種のSAderを開発し、有界勾配の仮定なしに同じ境界を達成する。
• 動的リグレット境界の最適性を確認するため、一致する$\Omega(\sqrt{T(1+P_T)})$の下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 打撃コストのみを最小化する戦略が、α-多面体関数およびλ-2次成長関数に対して、既存手法よりも優れた競合比を達成できるか？
• RQ2 凸でλ-2次成長関数である場合、打撃コストとスイッチングコストの重み付き和を最小化するグリーディアルゴリズムが達成できる競合比は何か？
• RQ3 スイッチングコストを考慮する修正版Aderアルゴリズムを用いることで、スイッチングコスト付きの動的リグレットを最適に束縛できるか？
• RQ4 提案されたSmoothed Aderアルゴリズムは、パス長の正則性の下で最適な$O(\sqrt{T(1+P_T)})$の動的リグレット境界を達成できるか？
• RQ5 一致する$\Omega(\sqrt{T(1+P_T)})$下界によって確認されるように、$O\left(\sqrt{T(1+P_T)}\right)$の境界はタイトか？

主な発見

• 打撃コストのみを最小化すると、α-多面体関数では$\max(1, \frac{2}{\alpha})$-競合比が達成され、先行研究を改善する。
• λ-2次成長関数では、打撃コストのみを最小化すると$1 + \frac{4}{\lambda}$-競合比が得られ、最先端の結果を著しく改善する。
• 打撃コストが凸かつλ-2次成長関数である場合、打撃コストとスイッチングコストの重み付き和を最小化することで、$1 + \frac{2}{\sqrt{\lambda}}$-競合比が達成される。
• 提案されたSmoothed Ader (SAder)アルゴリズムは、スイッチングコスト付きで$O(\sqrt{T(1+P_T)})$の動的リグレット境界を達成し、理論的下界と一致する。
• 見通し型変種のSAderは、有界勾配の仮定なしに同じ境界を達成し、結果の頑健性を確認する。
• $\Omega(\sqrt{T(1+P_T)})$の下界が確立され、$O(\sqrt{T(1+P_T)})$の動的リグレット境界が最適であることが証明された。