[論文レビュー] Dynamic Regret of Convex and Smooth Functions

Peng Zhao, Yujie Zhang+2 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Bandit Algorithms Research参考文献 34被引用数 11

ひとこと要約

本稿では、勾配の変動とコンパレータ系列の累積損失を活用することで、適応的動的リグレットバウンドを達成する、凸かつ滑らかな関数に対する新しいオンライン学習アルゴリズムSwordを提案する。従来の最良の状態の$\mathcal{O}(\sqrt{T(1+P_T)})$リグレットを改善し、$T$に依存するのを、問題に依存する量に置き換えることで、良好な環境下ではよりタイトなバウンドを達成しつつ、最悪ケースの最適性を維持する。

ABSTRACT

We investigate online convex optimization in non-stationary environments and choose the dynamic regret as the performance measure, defined as the difference between cumulative loss incurred by the online algorithm and that of any feasible comparator sequence. Let $T$ be the time horizon and $P_T$ be the path-length that essentially reflects the non-stationarity of environments, the state-of-the-art dynamic regret is $\mathcal{O}(\sqrt{T(1+P_T)})$. Although this bound is proved to be minimax optimal for convex functions, in this paper, we demonstrate that it is possible to further enhance the dynamic regret by exploiting the smoothness condition. Specifically, we propose novel online algorithms that are capable of leveraging smoothness and replace the dependence on $T$ in the dynamic regret by problem-dependent quantities: the variation in gradients of loss functions, the cumulative loss of the comparator sequence, and the minimum of the previous two terms. These quantities are at most $\mathcal{O}(T)$ while could be much smaller in benign environments. Therefore, our results are adaptive to the intrinsic difficulty of the problem, since the bounds are tighter than existing results for easy problems and meanwhile guarantee the same rate in the worst case.

研究の動機と目的

• 非定常環境における静的および最悪ケースの動的リグレットの限界を解消すること。
• 時間枠$T$の最悪ケースに依存しない、問題固有の性質に依存する適応的動的リグレットバウンドを構築すること。
• 損失関数の滑らかさを活用して、最小最大最適な$\mathcal{O}(\sqrt{T(1+P_T)})$レートを超えるリグレットバウンドを精緻化すること。
• 良好（良性）な環境下でよりタイトなリグレット保証を達成しつつ、最悪ケース性能を維持すること。

提案手法

• 問題に依存する量に適応する3つのアルゴリズム—Sword$_{\text{var}}$、Sword$_{\text{small}}$、Sword$_{\text{best}}$—からなるSwordの族を提案する。
• 関数の変化を測る指標として、勾配の変動$V_T = \sum_{t=2}^T \sup_{\mathbf{x} \in \mathcal{X}} \|\nabla f_{t-1}(\mathbf{x}) - \nabla f_t(\mathbf{x})\|_2^2$を用いる。
• 問題に依存する項として、累積コンパレータ損失$F_T = \sum_{t=1}^T f_t(\mathbf{u}_t)$を導入し、リグレットバウンドの精緻化を図る。
• 滑らかさ関数の自己バウンド性質：$\|\nabla f(\mathbf{x})\|_2 \leq \sqrt{4L f(\mathbf{x})}$を活用し、勾配項のバウンドを実現する。
• 問題に依存する量に基づく、射影付きで適応的ステップサイズを用いた修正されたオンライン勾配降下法を適用する。
• Bregman発散と強凸性を組み合わせた、新たな解析フレームワークを用い、不等式操作に補題5および補題6を活用してリグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 損失関数の滑らかさを活用することで、最小最大最適な$\mathcal{O}(\sqrt{T(1+P_T)})$レートを超えるよりタイトな動的リグレットバウンドを達成できるか？
• RQ2 勾配の変動$V_T$と累積コンパレータ損失$F_T$をどのように用いて、適応的リグレットバウンドを構築できるか？
• RQ3 勾配変動バウンドと小損失バウンドを同時に達成できるアルゴリズムを設計することは可能か？
• RQ4 リグレットバウンドを$\min(V_T, F_T)$の形で表現することで、「両方の世界の最良」の保証を達成できるか？
• RQ5 提案されたアルゴリズムは、良性環境下での性能向上を維持しながら、最悪ケースの最適性を保つことができるか？

主な発見

• Sword$_{\text{var}}$は、$V_T \ll T$のとき$\mathcal{O}(\sqrt{T(1+P_T)})$より優れた$\mathcal{O}(\sqrt{(1+P_T+V_T)(1+P_T)})$の動的リグレットバウンドを達成する。
• Sword$_{\text{small}}$は、$F_T$が小さいときよりタイトな$\mathcal{O}(\sqrt{(1+P_T+F_T)(1+P_T)})$の小損失バウンドを達成する。
• Sword$_{\text{best}}$は、両者の長所を統合した「両方の世界の最良」バウンド$\mathcal{O}(\sqrt{(1+P_T+\min(V_T, F_T))(1+P_T)})$を達成する。
• $V_T$または$F_T$が$\mathcal{O}(T)$のスケールで増加する場合、すべてのバージョンが最悪ケースレート$\mathcal{O}(\sqrt{T(1+P_T)})$を維持し、ロバスト性を確保する。
• $V_T$および$F_T$が良性環境下で$T$よりもはるかに小さい場合、状態の最良のバウンドよりも厳密にタイトになる。
• 解析は滑らかさ関数の自己バウンド性質と、新たな不等式（補題5および補題6）に依存し、リグレット分解における勾配項と損失項の制御を実現する。