[論文レビュー] Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization

Peng Zhao, Yujie Zhang+2 more|arXiv (Cornell University)|Dec 29, 2021

Advanced Bandit Algorithms Research被引用数 12

ひとこと要約

本稿では、滑らかさと勾配変動を活用することで、問題依存の動的リグレットバウンドを達成する、SwordおよびSword++という新しいオンライン凸最適化アルゴリズムを提案する。協調的オンラインアンサンブルフレームワークを用い、楽観的ミラー降下と補正項を組み合わせることで、1反復あたり1つの勾配のみを用いて、$Ó(\sqrt{(1+P_T+\min\{V_T,F_T\})(1+P_T)})$のリグレットを達成する。これは、容易な問題例では最小最大の$\mathcal{O}(\sqrt{T(1+P_T)})$バウンドを上回り、最悪ケースのロバスト性を維持する。

ABSTRACT

We investigate online convex optimization in non-stationary environments and choose dynamic regret as the performance measure, defined as the difference between cumulative loss incurred by the online algorithm and that of any feasible comparator sequence. Let $T$ be the time horizon and $P_T$ be the path length that essentially reflects the non-stationarity of environments, the state-of-the-art dynamic regret is $\mathcal{O}(\sqrt{T(1+P_T)})$. Although this bound is proved to be minimax optimal for convex functions, in this paper, we demonstrate that it is possible to further enhance the guarantee for some easy problem instances, particularly when online functions are smooth. Specifically, we introduce novel online algorithms that can exploit smoothness and replace the dependence on $T$ in dynamic regret with problem-dependent quantities: the variation in gradients of loss functions, the cumulative loss of the comparator sequence, and the minimum of these two terms. These quantities are at most $\mathcal{O}(T)$ while could be much smaller in benign environments. Therefore, our results are adaptive to the intrinsic difficulty of the problem, since the bounds are tighter than existing results for easy problems and meanwhile safeguard the same rate in the worst case. Notably, our proposed algorithms can achieve favorable dynamic regret with only one gradient per iteration, sharing the same gradient query complexity as the static regret minimization methods. To accomplish this, we introduce the collaborative online ensemble framework. The proposed framework employs a two-layer online ensemble to handle non-stationarity, and uses optimistic online learning and further introduces crucial correction terms to enable effective collaboration within the meta-base two layers, thereby attaining adaptivity. We believe the framework can be useful for broader problems.

研究の動機と目的

• 非定常環境における静的および最悪ケースの動的リグレットの限界を克服し、より適応的な性能指標を導入すること。
• 勾配変動や累積コンパレータ損失といった問題依存量を活用することで、特に滑らかな関数に対して、よりタイトな動的リグレットバウンドを達成するオンラインアルゴリズムの開発。
• 静的リグレット最小化手法と同等の1反復あたり1つの勾配という効率を維持しながら、優れた動的リグレット保証を達成すること。
• 代替損失の構築と意思決定のずれ補正項を用いて、メタ層とベース層の間で効果的な協調を実現する協調的オンラインアンサンブルフレームワークの設計。

提案手法

• 非定常性に適応する複数のベースラーナーを調整するメタラーナーを統合した二層構造のオンラインアンサンブルフレームワークを導入。
• メタ層およびベース層の両方で一様な構築ブロックとして楽観的ミラー降下を用い、リグレット解析における負の項を介した適応的更新を可能にする。
• メタ層とベース層間の協調を強化するため、線形化と新規の意思決定のずれ補正項を含む代替損失関数を設計。
• 問題依存量として、パス長$P_T$、勾配変動$V_T$、累積コンパレータ損失$F_T$をリグレットバウンドに組み込み、問題の内在的難易度を反映させる。
• 従来の手法（例：Sword）とは異なり、複数の勾配クエリを避けることで、1反復あたり1つの勾配という複雑性を達成。
• リグレット分解における負の項を活用することで、計算コストを増加させることなく滑らかさを活用し、バウンドを改善する。

実験結果

リサーチクエスチョン

• RQ1 滑らかなオンライン凸最適化問題において、最小最大の$\mathcal{O}(\sqrt{T(1+P_T)})$レートを超えて、動的リグレットバウンドを改善することは可能か？
• RQ2 1反復あたり1回の勾配クエリのみを用いて、静的リグレット手法と同等の効率を維持しながら、問題依存の動的リグレットを達成することは可能か？
• RQ3 計算負荷の増加を伴わせずに、メタラーナーとベースラーナー間の協調をどのように構築すれば、滑らかさと勾配変動を効果的に活用できるか？
• RQ4 任意の実行可能なコンパレータ系列に対して成り立つ普遍的な動的リグレットバウンドを構築することは可能か？ これにより、非定常環境の内在的難易度に適応でき、環境の非定常性を事前に知る必要がない。

主な発見

• 提案されたSword++アルゴリズムは、$\mathcal{O}(\sqrt{(1+P_T+\min\{V_T,F_T\})(1+P_T)})$という問題依存の動的リグレットバウンドを達成し、$V_T$および$F_T$が小さい容易なケースでは最小最大の$\mathcal{O}(\sqrt{T(1+P_T)})$バウンドを上回る。
• アルゴリズムはOGDやAderと同様に、1反復あたり1つの勾配という複雑性を維持しており、改善されたリグレット保証にもかかわらず計算的に効率的である。
• 実験結果では、合成データおよび実世界データの両方で、Sword++はOGD、Ader、Swordを累積損失の観点で上回り、実行時間においても競争力を持つ。
• 協調的オンラインアンサンブルフレームワークにより、リグレット解析における勾配変動とコンパレータ損失の有効な活用が可能となり、計算効率を損なわずよりタイトなバウンドが得られる。
• 理論的解析により、バウンドが普遍的であることが確認され、任意の実行可能なコンパレータ系列に対して成り立つため、環境の非定常性を事前に知る必要なく、非定常環境に適応可能である。