[논문 리뷰] Online Paging with a Vanishing Regret

Yuval Emek, Shay Kutten외 1명|arXiv (Cornell University)|2020. 11. 18.

Optimization and Search Problems참고 문헌 24인용 수 2

한 줄 요약

이 논문은 여러 개의 정확하지 않은 예측기들을 활용하여 다음 도착 시간(NAT)을 예측함으로써 시간 평균 누적 손실이 점점 줄어드는 랜덤화된 온라인 페이지 교체 알고리즘을 제안한다. 최소한 하나의 예측기가 시간이 지남에 따라 비선형 예측 오차를 내는 것으로 가정할 경우, 알고리즘은 시간이 무한히 흐르게 되면서 손실이 0으로 수렴함을 보장하며, 이는 전면 정보 모델과 밴딧 접근 모델 모두에서 엄밀한 손실 경계를 확보한다.

ABSTRACT

This paper considers a variant of the online paging problem, where the online algorithm has access to multiple predictors, each producing a sequence of predictions for the page arrival times. The predictors may have occasional prediction errors and it is assumed that at least one of them makes a sublinear number of prediction errors in total. Our main result states that this assumption suffices for the design of a randomized online algorithm whose time-average regret with respect to the optimal offline algorithm tends to zero as the time tends to infinity. This holds (with different regret bounds) for both the full information access model, where in each round, the online algorithm gets the predictions of all predictors, and the bandit access model, where in each round, the online algorithm queries a single predictor. While online algorithms that exploit inaccurate predictions have been a topic of growing interest in the last few years, to the best of our knowledge, this is the first paper that studies this topic in the context of multiple predictors for an online problem with unbounded request sequences. Moreover, to the best of our knowledge, this is also the first paper that aims for (and achieves) online algorithms with a vanishing regret for a classic online problem under reasonable assumptions.

연구 동기 및 목표

• 정확하지 않은 예측에 비해도 점점 줄어드는 손실을 달성하는 온라인 페이지 교체 알고리즘을 설계하는 것.
• 제한 없는 요청 시퀀스를 가진 고전적인 페이지 교체 문제에 다중 예측기 기반 온라인 학습을 확장하는 것.
• 비선형 예측 오차 가정 하에 손실 최소화에 대한 이론적 보장을 수립하는 것.
• 기존 문헌에서의 격차를 메우기 위해 현실적인 예측 모델을 가진 고전적인 온라인 문제에서 점점 줄어드는 손실을 달성하는 것.

제안 방법

• 알고리즘은 각각 페이지의 다음 도착 시간(NAT)을 예측하는 다수의 예측기를 사용한다.
• 다중 암표 밴딧 및 전문가 집합 기반 기법에 영감을 얻은 랜덤화된 온라인 절차를 통해 예측을 통합한다.
• 전면 정보 모델에서는 Theorem 4.7 (BB00)을 적용하여 M개의 예측기 추종 알고리즘을 혼합하고, 손실이 O(√(kT log M) + ηmin + k) 이내로 제한됨을 보장한다.
• 밴딧 모델에서는 개별 예측기로부터의 적응적 쿼리와 학습을 수행하는 컨텍스트 밴딧 스타일 전략을 활용한다.
• 알고리즘은 예측된 향후 액세스 시간에 기반해 동적으로 캐시에서 제거 정책을 조정함으로써 캐시 미스를 최소화한다.
• 비선형 오차 가정을 활용한다: 최소한 하나의 예측기는 시간이 지남에 따라 o(T)개의 오차를 내며, 이는 장기적으로 최적에 가까운 성능을 달성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 여러 개의 정확하지 않은 예측기를 기반으로 하는 온라인 페이지 교체 알고리즘이 점점 줄어드는 손실을 달성할 수 있는가?
• RQ2 비선형 예측 오차 가정 하에 전면 정보 모델과 밴딧 접근 모델 간 성능 보장은 어떻게 달성되는가?
• RQ3 예측기의 수와 그 정확도는 손실 경계에 어떤 영향을 미치는가?
• RQ4 예측 오차가 존재하는 환경에서 랜덤화된 온라인 알고리즘이 결정론적 전략을 능가할 수 있는가?
• RQ5 부정확한 예측이 존재하더라도 시간 평균 손실이 0으로 수렴하는 알고리즘을 설계할 수 있는가?

주요 결과

• 전면 정보 모델에서 제안된 알고리즘은 O(√(kT log M) + ηmin + k)의 손실을 달성하며, 여기서 ηmin은 모든 예측기 중 최소 예측 오차 수이다.
• 밴딧 모델에서는 O(kT^{2/3}√M + ηmin)로 손실이 경계지며, 제한된 피드백 하에서도 가능성을 입증한다.
• 최소한 하나의 예측기가 o(T)개의 예측 오차를 내는 것으로 가정할 경우, 시간 평균 손실은 T → ∞일 때 0으로 수렴한다.
• 부정확한 예측이 존재하더라도 장기적으로 최적의 오프라인 FitF 알고리즘 성능에 가까워진다.
• 이론적 분석은 비선형 예측 오차가 점점 줄어드는 손실을 달성하는 데 충분함을 보여주며, 이는 모델의 부정확성에 대해 강건함을 입증한다.
• 이 논문은 현실적인 예측 가정 하에 고전적인 온라인 문제에서 알려진 바 없는 첫 번째 점점 줄어드는 손실 결과를 수립한다.