[論文レビュー] Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses

Yihan Zhou, Victor Sanches Portella+2 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Bandit Algorithms Research参考文献 26被引用数 7

ひとこと要約

本稿は、相対的リプシッツ連続性および相対的強い凸性の下で、オンライン凸最適化における最初のサブリニアなレジーット境界を確立する。FTRLおよびOMDアルゴリズムの古典的枠組みを拡張し、相対的リプシッツ損失では $O(\sqrt{T})$、相対的強い凸損失では $O\left(\log T\right)$ のレジーットを示す。複合的目的関数および正則化への拡張も含む。

ABSTRACT

In online convex optimization (OCO), Lipschitz continuity of the functions is commonly assumed in order to obtain sublinear regret. Moreover, many algorithms have only logarithmic regret when these functions are also strongly convex. Recently, researchers from convex optimization proposed the notions of "relative Lipschitz continuity" and "relative strong convexity". Both of the notions are generalizations of their classical counterparts. It has been shown that subgradient methods in the relative setting have performance analogous to their performance in the classical setting. In this work, we consider OCO for relative Lipschitz and relative strongly convex functions. We extend the known regret bounds for classical OCO algorithms to the relative setting. Specifically, we show regret bounds for the follow the regularized leader algorithms and a variant of online mirror descent. Due to the generality of these methods, these results yield regret bounds for a wide variety of OCO algorithms. Furthermore, we further extend the results to algorithms with extra regularization such as regularized dual averaging.

研究の動機と目的

• オンライン凸最適化の古典的レジーット境界を、相対的リプシッツ連続性および相対的強い凸性の設定へと拡張すること。
• 緩い連続性仮定の下で、FTRLおよびオンラインミラー降下（DS-OMD）の変種の性能を分析すること。
• スパarsityを促進する $\ell_1$-正則化を含むような、複合損失関数のためのレジーット境界を導出すること。
• 古典的リプシッツ連続性を仮定せずとも、基礎的なOCOアルゴリズムが良好な収束速度を維持できることを示すこと。
• OMDおよびFTRLが相対的強い凸性の下で対数的レジーットを達成するかどうかという理解のギャップを埋めること。

提案手法

• Bregman発散および参照関数 $\Phi$ を用いて、相対的リプシッツ連続性の概念を導入し、形式化する。
• 正則化関数 $\Psi$ とBregman射影を組み合わせた、follow-the-regularized-leader（FTRL）フレームワークを適応する。
• Bregman発散の一般化された三重恒等式を用い、レジーットをBregman発散項および正則化項の関数として評価する。
• Bregman発散項と正則化項のトレードオフを調整するため、ステップサイズスケジュール $\eta_t = \sqrt{K}/(L\sqrt{t})$ を適用する。
• 安定化係数 $\gamma_t = \eta_{t+1}/\eta_t$ を組み込むことで、双対安定化OMD（DS-OMD）への分析を拡張する。
• 損失関数を相対的リプシッツ関数と凸正則化子 $\Psi$ の和とみなすことにより、複合レジーット境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 FTRLは、古典的リプシッツ仮定を満たさない相対的リプシッツ連続性のもとで $O(\sqrt{T})$ のレジーットを達成できるか？
• RQ2 Bregman発散の意味での相対的強い凸性は、オンライン設定において $O(\log T)$ のレジーットをもたらすか？
• RQ3 レジーット境界は、$\ell_1$-ノルムやその他の正則化子を含む複合的目的関数へと拡張可能か？
• RQ4 相対的滑らかさおよび相対的凸性の下で、FTRLおよびDS-OMDは古典的設定と比較してどのように動作するか？
• RQ5 正則化双対平均（RDA）のような他のOCOアルゴリズムに対しても、分析を一般化できるか？

主な発見

• 本稿は、損失関数がBregman発散に関して相対的リプシッツ連続である場合に、FTRLおよびDS-OMDに対して $O(\sqrt{T})$ のレジーット境界を確立する。
• 損失関数がさらに相対的に強く凸である場合、同じアルゴリズムに対して $O(\log T)$ のレジーット境界を示し、古典的結果を相対的設定へと拡張する。
• ステップサイズ $\eta_t = \sqrt{K}/(L\sqrt{t})$ に対して、レジーット境界は $\operatorname{Regret}_{T}^\Psi(z) \leq 2L\sqrt{K(T+1)}$ と評価され、ここで $K \geq D_\Phi(z,x_1)$ である。
• 正則化子 $\Psi$ をレジーット分解に組み込むことにより、$\ell_1$-正則化を含むような複合的目的関数に対しても分析が適用可能である。
• 正則化双対平均（RDA）やネステロフの双対平均など、他のOCOアルゴリズムに対しても還元を用いて結果を拡張可能である。
• 本フレームワークにより、古典的リプシッツ連続性を仮定せずとも収束速度の分析が可能となり、オンライン学習アルゴリズムの適用範囲が広がる。