[論文レビュー] Trading-Off Static and Dynamic Regret in Online Least-Squares and Beyond

Jianjun Yuan, Andrew Lamperski|arXiv (Cornell University)|Sep 6, 2019

Advanced Bandit Algorithms Research参考文献 18被引用数 5

ひとこと要約

本稿では、忘却係数を用いた割り引かれたオンラインニュートン法の分析を通じて、オンライン最小二乗学習における静的レジームと動的レジームのトレードオフを統一的に扱うフレームワークを提案する。適切な調整のもと、これらのアルゴリズムが $\max\{O(\log T), O(\sqrt{TV})\}$ の動的レジームを達成することを確立しており、勾配降下の適応的ステップサイズルールにより、静的レジームと動的レジームの間のトレードオフを可能にしている。

ABSTRACT

Recursive least-squares algorithms often use forgetting factors as a heuristic to adapt to non-stationary data streams. The first contribution of this paper rigorously characterizes the effect of forgetting factors for a class of online Newton algorithms. For exp-concave and strongly convex objectives, the algorithms achieve the dynamic regret of $\max\{O(\log T),O(\sqrt{TV})\}$, where $V$ is a bound on the path length of the comparison sequence. In particular, we show how classic recursive least-squares with a forgetting factor achieves this dynamic regret bound. By varying $V$, we obtain a trade-off between static and dynamic regret. In order to obtain more computationally efficient algorithms, our second contribution is a novel gradient descent step size rule for strongly convex functions. Our gradient descent rule recovers the order optimal dynamic regret bounds described above. For smooth problems, we can also obtain static regret of $O(T^{1-β})$ and dynamic regret of $O(T^βV^*)$, where $β\in (0,1)$ and $V^*$ is the path length of the sequence of minimizers. By varying $β$, we obtain a trade-off between static and dynamic regret.

研究の動機と目的

• 非定常なデータストリームに対する再帰的最小二乗アルゴリズムにおける忘却係数の効果を厳密に分析すること。
• 定常環境向けの一般化（静的レジーム）と変化する環境の追跡（動的レジーム）の間のトレードオフを確立すること。
• 強い凸性および滑らかさを満たす関数に対して、順序的に最適な動的レジーム境界を達成する計算効率の良い勾配降下ステップサイズルールを開発すること。
• 割り引かれたフレームワークの下で、オンラインニュートン法と再帰的最小二乗法の分析を統一すること。
• 最適な系列 $\theta_t^*$ のパス長 $V^*$ を用いたレジーム境界を提示することで、統計的仮定なしに性能保証を可能にすること。

提案手法

• 忘却係数を用いた割り引かれたオンラインニュートンアルゴリズムを提案し、再帰的最小二乗法と元のオンラインニュートン法の両方を一般化する。
• 過去の観測を重みづけするための割り引きパラメータ $\gamma \in (0,1)$ を用い、非定常環境への適応を可能にする。
• ブレグマン発散とヘッセ近似行列 $P_t$ の進化を分析することで、レジーム境界を導出する。
• パス長 $V^*$ と滑らかさパラメータ $\beta$ に依存する、静的レジームと動的レジームのトレードオフを可能にする、新しい勾配降下ステップサイズルールを導入する。
• リャプノフ風の解析を適用し、初期誤差、勾配ノルム、ヘッセ逆行列の減衰を用いて累積レジームをバインドする。
• 行列集中と固有値バインドを用いて、ヘッセ近似の条件数を制御し、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 再帰的最小二乗法における忘却係数は、動的レジームの観点から厳密に分析可能であり、その結果得られる境界は何か？
• RQ2 1つのアルゴリズムが、定常環境向けの静的レジームと非定常環境向けの動的レジームの両方をどのようにバランスさせるか？
• RQ3 強い凸性および滑らかさを満たす関数に対して、静的レジームと動的レジームの最適なトレードオフは何か？
• RQ4 計算効率の良い勾配降下ルールは、より複雑なオンラインニュートン法と同等の順序的に最適なレジーム境界を達成できるか？
• RQ5 最適な系列 $\theta_t^*$ のパス長 $V^*$ は、オンライン学習における動的レジームにどのように影響を与えるか？

主な発見

• 割り引かれたオンラインニュートン法は、指数的コンケイブかつ強い凸な目的関数に対して、動的レジーム $\mathcal{R}_d \leq \max\{O(\log T), O(\sqrt{TV})\}$ を達成する。ここで $V$ は比較系列のパス長である。
• 古典的な忘却係数を用いた再帰的最小二乗法も、同じ動的レジーム境界を達成する。これは、そのヒューリスティックな使用に対する厳密な正当化を提供する。
• 忘却係数を $\gamma = 1 - 1/T^\alpha$ と調整することで、静的レジーム $\mathcal{R}_s = O(T^{1-\alpha})$ を達成でき、$\alpha \in (0,1)$ の範囲で静的および動的性能のトレードオフが可能になる。
• 滑らかな問題に対して、提案された勾配降下ルールは静的レジーム $O(T^{1-\beta})$ および動的レジーム $O(T^\beta V^*)$ を達成する。ここで $\beta \in (0,1)$ であり、$V^*$ は最適系列 $\theta_t^*$ のパス長である。
• ノイズやデータ分布に関する統計的仮定なしに解析が成立するため、敵対的かつ非確率的環境にも適用可能である。
• 本手法は、オンラインニュートン法、再帰的最小二乗法、適応的勾配降下法を割り引き最適化パラダイムの下で統一するフレームワークを提供する。