[論文レビュー] Efficient Methods for Non-stationary Online Learning

Peng Zhao, Yanfeng Xie+2 more|arXiv (Cornell University)|Sep 16, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用数 3

ひとこと要約

本稿では、非定常環境における効率的なオンライン学習アルゴリズムを提案する。O(log T)から1回への投影回数の削減により、計算コストを大幅に低減する。パrameter-free学習からの新規還元手法を活用することで、1ラウンドあたり1回の勾配クエリと1回の関数評価で、最適な動的および適応的リグレットバウンドを達成。従来の二層アンサンブル手法に比べ、著しく効率的である。

ABSTRACT

Non-stationary online learning has drawn much attention in recent years. In particular, dynamic regret and adaptive regret are proposed as two principled performance measures for online convex optimization in non-stationary environments. To optimize them, a two-layer online ensemble is usually deployed due to the inherent uncertainty of non-stationarity, in which multiple base-learners are maintained and a meta-algorithm is employed to track the best one on the fly. However, the two-layer structure raises concerns about computational complexity -- such methods typically maintain $O(\log T)$ base-learners simultaneously for a $T$-round online game and thus perform multiple projections onto the feasible domain per round, which becomes the computational bottleneck when the domain is complicated. In this paper, we present efficient methods for optimizing dynamic regret and adaptive regret that reduce the number of projections per round from $O(\log T)$ to $1$. The proposed algorithms require only one gradient query and one function evaluation at each round. Our technique hinges on the reduction mechanism developed in parameter-free online learning and requires non-trivial modifications for non-stationary online methods. Furthermore, we study an even stronger measure, namely "interval dynamic regret", and reduce the number of projections per round from $O(\log^2 T)$ to $1$ for minimizing it. Our reduction demonstrates broad generality and applies to two important applications: online stochastic control and online principal component analysis, resulting in methods that are both efficient and optimal. Finally, empirical studies verify our theoretical findings.

研究の動機と目的

• 非定常オンライン学習のための従来の二層オンラインアンサンブル手法の高い計算コストを解消すること。
• 1ラウンドあたりの投影回数をO(log T)から1回に削減しながら、最適なリグレット保証を維持すること。
• オンライン凸最適化における動的リグレットと適応的リグレットの両方のための効率的アルゴリズムを開発すること。
• 最小限の計算オーバーヘッド（1ラウンドあたり1回の勾配クエリと1回の関数評価）で最適なリグレットバウンドを達成すること。
• 非自明なアルゴリズム的適合を経て、パrameter-free学習技術を非定常設定に拡張すること。

提案手法

• パrameter-freeオンライン学習からの還元手法を用いて、非定常オンライン凸最適化のための1回の投影アルゴリズムを設計する。
• 時間に依存する正則化項と、適切に調整された学習率スケジューリングを用いて、リグレットと安定性のバランスを取る。
• 従来の二層アンサンブル手法で見られるO(log T)のベースラーナーを維持する必要がなくなるよう、1ラウンドあたり1つのアクティブなラーナーを維持する。
• 主なイノベーションは、パrameter-free学習から得られる自己信頼性に基づく学習率チューニングを非定常設定に適応させることにある。
• アプローチにより、リグレットバウンドがパス長PTおよび関数変動と最適にスケーリングされ、既知の理論的限界と一致する。
• 理論的分析は、時間に依存する正則化項を扱い、累積勾配をバウンドするための新規な補題に依存する。

実験結果

リサーチクエスチョン

• RQ1 非定常環境におけるオンライン学習アルゴリズムを設計可能か？1ラウンドあたり1回の投影で十分か？
• RQ2 最小限の計算オーバーヘッドで、最適な動的および適応的リグレットバウンドを達成可能か？
• RQ3 パrameter-free学習技術を非定常オンライン凸最適化にどのように適合できるか？
• RQ4 非定常設定で最適なリグレットを維持するための、勾配クエリおよび関数評価の最小回数は何か？
• RQ5 二層アンサンブル構造を、レグレット性能に妥協を来さずに、より効率的な単一ラーナー枠組みに置き換え可能か？

主な発見

• 提案手法により、1ラウンドあたりの投影回数がO(log T)から1回に削減され、複雑な実行可能領域において計算コストが顕著に低減された。
• 一般の凸関数に対して、動的リグレットバウンドがO(√(T(1 + PT)))に達し、既存で最高の理論的保証と一致する。
• 滑らかな関数に対しては、小損失動的リグレットバウンドがO(√((FT + PT)(1 + PT)))に達し、先行研究を上回る。
• 1ラウンドあたり1回の勾配クエリと1回の関数評価で十分であり、非常に高い効率性を実現している。
• 実験的評価により、理論的な性能向上が実際の応用でも達成されており、優れたリグレット性能と低い計算コストを両立している。
• パrameter-free学習からの還元手法により、複数のベースラーナーを維持する複雑さを回避する洗練された統一フレームワークが実現された。