[論文レビュー] Online Paging with a Vanishing Regret

Yuval Emek, Shay Kutten+1 more|arXiv (Cornell University)|Nov 18, 2020

Optimization and Search Problems参考文献 24被引用数 2

ひとこと要約

本稿では、複数の不正確な予測器を活用して、ページの次回アクセス時刻（NAT）を予測することで、時間平均のリグレットが消えるランダム化オンラインページングアルゴリズムを提案する。少なくとも1つの予測器が時間とともに非線形予測誤差を犯すという仮定の下で、アルゴリズムは時間無限大に近づくにつれてリグレットがゼロに収束し、完全情報モデルおよびバンディットアクセスモデルの両方でタイトなリグレットバウンドを達成する。

ABSTRACT

This paper considers a variant of the online paging problem, where the online algorithm has access to multiple predictors, each producing a sequence of predictions for the page arrival times. The predictors may have occasional prediction errors and it is assumed that at least one of them makes a sublinear number of prediction errors in total. Our main result states that this assumption suffices for the design of a randomized online algorithm whose time-average regret with respect to the optimal offline algorithm tends to zero as the time tends to infinity. This holds (with different regret bounds) for both the full information access model, where in each round, the online algorithm gets the predictions of all predictors, and the bandit access model, where in each round, the online algorithm queries a single predictor. While online algorithms that exploit inaccurate predictions have been a topic of growing interest in the last few years, to the best of our knowledge, this is the first paper that studies this topic in the context of multiple predictors for an online problem with unbounded request sequences. Moreover, to the best of our knowledge, this is also the first paper that aims for (and achieves) online algorithms with a vanishing regret for a classic online problem under reasonable assumptions.

研究の動機と目的

• 不正確な予測に依存してもリグレットが消えるオンラインページングアルゴリズムの設計。
• 無限リクエストシーケンスにおける古典的ページング問題に、複数の予測器を用いたオンライン学習を拡張すること。
• 非線形予測誤差仮定の下でのリグレット最小化の理論的保証の確立。
• 現行の文献におけるギャップを埋めるために、現実的な予測モデルを想定した古典的オンライン問題においてリグレットが消えることを達成すること。

提案手法

• アルゴリズムは、各ページの次回アクセス時刻（NAT）を予測する複数の予測器を使用する。
• マルチアームバンディットおよびエキスパート集約技術にインspiredされたランダム化オンライン手順により、予測を統合する。
• 完全情報モデルでは、定理4.7（BB00）を適用し、M個の予測器追従アルゴリズムの混合を実行し、リグレットがO(√(kT log M) + ηmin + k)で有界であることを保証する。
• バンディットモデルでは、文脈付きバンディット風の戦略を採用し、個々の予測器から適応的に照会し、学習を行う。
• アルゴリズムは、予測された将来のアクセス時刻に基づいて、動的にページ削除ポリシーを調整し、キャッシュミスを最小化する。
• 非線形誤差仮定を活用する：少なくとも1つの予測器が時間とともにo(T)の誤差を犯すため、長期的には最適に近いパフォーマンスを達成できる。

実験結果

リサーチクエスチョン

• RQ1 複数の不正確な予測器に依存するオンラインページングアルゴリズムは、リグレットが消えることができるか？
• RQ2 非線形予測誤差仮定の下で、完全情報モデルとバンディットアクセスモデルの両方において、どのようなパフォーマンス保証が達成可能か？
• RQ3 予測器の数とその予測精度は、リグレットバウンドにどのように影響するか？
• RQ4 予測誤差が存在する状況で、ランダム化オンラインアルゴリズムは決定的戦略を上回ることができるか？
• RQ5 不正確な予測が存在する場合でも、時間平均リグレットが無限大に近づくにつれてゼロに近づくアルゴリズムを設計することは可能か？

主な発見

• 完全情報モデルでは、提案アルゴリズムがO(√(kT log M) + ηmin + k)のリグレットを達成する。ここでηminはすべての予測器の中で最小の予測誤差数である。
• バンディットモデルでは、リグレットがO(kT^{2/3}√M + ηmin)で有界であることが示され、限られたフィードバック下でも実現可能であることが明らかになった。
• 少なくとも1つの予測器がo(T)の予測誤差を犯すという仮定の下で、時間平均リグレットはT → ∞のときゼロに近づく。
• 不正確な予測が存在する場合でも、長期的には最適なオフラインFitFアルゴリズムのパフォーマンスに近づく。
• 理論的分析により、非線形予測誤差が十分であることが示され、モデルの不正確さに対して頑健であることが明らかになった。
• 本稿は、現実的な予測仮定の下で、古典的オンライン問題において初めて知られるリグレットが消える結果を確立した。