[論文レビュー] Improved Analysis for Dynamic Regret of Strongly Convex and Smooth Functions

Peng Zhao, Lijun Zhang|arXiv (Cornell University)|Jun 10, 2020

Advanced Bandit Algorithms Research参考文献 26被引用数 12

ひとこと要約

本稿では、強い凸性および滑らかさを満たす関数を用いたオンライン凸最適化における動的リグレット最小化のための、オンライン多重勾配降下（OMGD）アルゴリズムの改善された分析を提示する。著者らは、洗練された関数値の減衰補題を導入することで、より緊密な動的リグレットバウンド $ olinebreak[4]\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T\})$ を確立し、パス長さ、二乗パス長さ、関数変動の3つを同時に考慮する「ベストオブスリー・ワールド」の保証を達成した。これは、アルゴリズムを変更せずに、以前の $ olinebreak[4]\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T\})$ バウンドを著しく改善するものである。

ABSTRACT

In this paper, we present an improved analysis for dynamic regret of strongly convex and smooth functions. Specifically, we investigate the Online Multiple Gradient Descent (OMGD) algorithm proposed by Zhang et al. (2017). The original analysis shows that the dynamic regret of OMGD is at most $\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T\})$, where $\mathcal{P}_T$ and $\mathcal{S}_T$ are path-length and squared path-length that measures the cumulative movement of minimizers of the online functions. We demonstrate that by an improved analysis, the dynamic regret of OMGD can be improved to $\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T,\mathcal{V}_T\})$, where $\mathcal{V}_T$ is the function variation of the online functions. Note that the quantities of $\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T$ essentially reflect different aspects of environmental non-stationarity -- they are not comparable in general and are favored in different scenarios. Therefore, the dynamic regret presented in this paper actually achieves a \emph{best-of-three-worlds} guarantee and is strictly tighter than previous results.

研究の動機と目的

• 非定常環境におけるオンライン多重勾配降下（OMGD）アルゴリズムの動的リグレットの理論的分析を改善すること。
• OMGDの動的リグレットが、パス長さ $\mathcal{P}_T$ および二乗パス長さ $\mathcal{S}_T$ のほかに、関数変動 $\mathcal{V}_T$ によってもバウンド可能であることを示すこと。
• アルゴリズムを変更せずに、異なる非定常性の程度に適応するより緊密な統一された動的リグレットバウンドを達成すること。

提案手法

• アルゴリズムの意思決定と時変最小化点との間の累積損失差をよりよく制御するために、洗練された関数値の減衰補題を適用する。
• オンライン関数の強い凸性および滑らかさの性質を用いて、関数値差のより緊密なバウンドを導出する。
• 3つの異なるリグレット上界を確立する：パス長さ $\mathcal{P}_T$ に基づくもの、二乗パス長さ $\mathcal{S}_T$ に基づくもの、関数変動 $\mathcal{V}_T$ に基づくもの。それぞれ異なる解析的手法を用いて導出する。
• 3つのバウンドを組み合わせて、単一の $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T\})$ リグレット保証を構築し、ベストオブスリー・ワールドのパフォーマンスを反映する。
• 先行研究（例：Yangら, 2016; Zhangら, 2017）の既存結果を、改善された解析の基盤として活用する。
• OMGDアルゴリズムをそのままで、数学的推論の強化により、より厳密なリグレットバウンドを証明する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性および滑らかさを満たす関数に対して、OMGDアルゴリズムの動的リグレットは、既存の $ olinebreak[4]\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T\})$ バウンドを上回って改善可能か？
• RQ2 アルゴリズムを変更せずに、目的関数の時間的変化を測る関数変動 $\mathcal{V}_T$ を動的リグレット解析に組み込むことは可能か？
• RQ3 改善された解析により、パス長さ $\mathcal{P}_T$、二乗パス長さ $\mathcal{S}_T$、関数変動 $\mathcal{V}_T$ の3つの古典的正則性測度のすべてよりも、より緊密なリグレットバウンドが得られるか？
• RQ4 関数値の減衰補題を効果的に適用することで、動的リグレット最小化におけるベストオブスリー・ワールドの保証を達成できるか？
• RQ5 環境の非定常性の程度が異なる条件下で、新しいバウンドは先行結果と比較して、どの程度緊密で適応的か？

主な発見

• OMGDアルゴリズムの動的リグレットは、$\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T\})$ に改善され、以前の $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T\})$ バウンドよりも厳密にタイトである。
• パス長さ、二乗パス長さ、関数変動を正則性測度として同時に捉えることで、ベストオブスリー・ワールドの保証を達成した。
• OMGDアルゴリズムを変更せずに、関数値の減衰補題の洗練された適用に依存して解析を達成した。
• 関数変動項 $\mathcal{V}_T = \sum_{t=2}^T \sup_{\mathbf{x} \in \mathcal{X}} |f_t(\mathbf{x}) - f_{t-1}(\mathbf{x})|$ が、この設定における動的リグレットの有効かつタイトな正則性測度であることが示された。
• パス長さおよび二乗パス長さのバウンドは、同じ解析フレームワークを用いて再導出され、アプローチの整合性と強固さが確認された。
• 特に強い凸性および滑らかさを満たす関数に対して、非定常環境におけるオンライン学習のよりタイトな理論的基盤を確立した。