[논문 리뷰] Using Grouped Linear Prediction and Accelerated Reinforcement Learning for Online Content Caching

Naifu Zhang, Kaibin Zheng외 1명|arXiv (Cornell University)|2018. 03. 13.

Caching and Content Delivery참고 문헌 21인용 수 9

한 줄 요약

이 논문은 동적 인기 예측을 위한 그룹 선형 모델(Gooped Linear Model, GLM)과 효율적인 캐시 교체를 위한 모델리스 가속 강화학습(Reinforcement Learning with Model-Free Acceleration, RLMA) 알고리즘을 사용하는 새로운 온라인 콘텐츠 캐싱 프레임워크를 제안한다. 콘텐츠를 나이별로 그룹화하고 가상의 샘플을 활용해 학습을 가속화함으로써, LRU, LFUDA 및 기준 Q-학습보다 더 높은 캐시 히트 비율과 장기 보상 성능을 달성하며, 변화하는 콘텐츠 인기의 비정상적인 환경에서도 뛰어난 성능을 발휘한다.

ABSTRACT

Proactive caching is an effective way to alleviate peak-hour traffic congestion by prefetching popular contents at the wireless network edge. To maximize the caching efficiency requires the knowledge of content popularity profile, which however is often unavailable in advance. In this paper, we first propose a new linear prediction model, named grouped linear model (GLM) to estimate the future content requests based on historical data. Unlike many existing works that assumed the static content popularity profile, our model can adapt to the temporal variation of the content popularity in practical systems due to the arrival of new contents and dynamics of user preference. Based on the predicted content requests, we then propose a reinforcement learning approach with model-free acceleration (RLMA) for online cache replacement by taking into account both the cache hits and replacement cost. This approach accelerates the learning process in non-stationary environment by generating imaginary samples for Q-value updates. Numerical results based on real-world traces show that the proposed prediction and learning based online caching policy outperform all considered existing schemes.

연구 동기 및 목표

• 기존 정적 인기 모델이 실패하는 무선 엣지 캐싱 환경에서 변화하는 콘텐츠 인기와 사용자 선호도의 도전 과제를 해결하기 위해.
• 사용자 맥락이나 콘텐츠 특징에 접근할 수 없으며, 오직 지역 요청 이력에 의존하는 확장 가능한 온라인 캐싱 정책을 설계하기 위해.
• Q-값 업데이트를 위한 합성 경험을 생성함으로써, 비정상적인 환경에서의 샘플 복잡도를 줄이고 학습을 가속화하기 위해.
• 캐시 히트 비율과 교체 비용을 통합된 강화학습 프레임워크에서 최적화하며, 간결한 액션 스페이스를 사용하기 위해.
• 실세계 트레이스에서 제안된 방법을 평가하고 기존 캐싱 정책보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 기본적으로 과거 콘텐츠 요청 수를 특징으로 삼고, 시간적 인기 동적을 모델링하기 위해 선형 계수에 나이 기반 그룹화를 적용하는 그룹 선형 모델(Gooped Linear Model, GLM)을 도입한다.
• 콘텐츠 요청 간 상관계수를 기반으로 GLM 파라미터에 선형 제약 조건을 도입하여 정규화 없이도 과적합을 방지한다.
• 캐시 히트와 교체 비용을 조합한 보상을 갖는 비정상적인 마르코프 결정 과정(Markov Decision Process, MDP)으로 캐시 교체 문제를 재정의한다.
• 이력 데이터에서 가상의 경험을 생성함으로써 Q-값 업데이트를 가속화하는 모델리스 강화학습 접근법인 RLMA를 제안한다.
• 비정상적인 환경에서 수렴성과 안정성을 향상시키기 위해 가상 샘플에 대해 적응형 학습률을 사용한다.
• 액션 스페이스를 특정 콘텐츠 집합이 아닌 교체할 콘텐츠 수로 정의함으로써, 상태와 액션 스페이스의 복잡도를 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 나이 기반 그룹화와 과거 요청 데이터만을 사용하는 그룹 선형 모델이 동적 콘텐츠 인기를 효과적으로 예측할 수 있는가?
• RQ2 가상의 샘플을 통한 모델리스 가속화가 비정상적인 캐싱 환경에서 학습 효율을 어떻게 향상시키는가?
• RQ3 제안된 RLMA 알고리즘이 장기 보상과 캐시 히트 비율 측면에서 LRU 및 LFUDA와 같은 전통적 캐싱 정책보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 콘텐츠 세트 대신 교체 수로 액션 스페이스를 단순화함으로써 확장성과 성능에 어떤 영향을 미치는가?
• RQ5 실세계의 변화하는 콘텐츠 라이브러리에서 정적 인기 가정 대비 GLM 기반 예측이 캐싱 성능을 얼마나 향상시키는가?

주요 결과

• 캐시 크기가 5개 파일일 때 GLM은 LFUDA보다 15.2% 높은 캐시 히트 비율을 기록했으며, LRU 대비 170.6% 향상된 성능을 보여, 비정상적인 환경에서 뛰어난 예측 정확도를 입증했다.
• 1000개 파일 캐시 크기에서 RLMA는 LFUDA 대비 15.6% 높은 누적 보상, Origin Q-Learning 대비 22.6%, Most Popular 정책 대비 28.8%, LRU 대비 30.8% 높은 성능을 기록했다.
• RLMA의 성능은 시간이 지남에 따라 최적 정책에 수렴함으로써, 변화하는 인기 프로파일에 효과적으로 적응하는 것을 보여준다.
• Origin Q-Learning는 실세계 경험에만 의존하기 때문에 수렴하지 못했으며, 이는 RLMA에서 합성 샘플 생성의 유용성을 입증한다.
• 콘텐츠 라이브러리가 커지면서 교체 비용이 증가함에 따라 LRU는 400개 시간 슬롯 이후 성능이 급격히 떨어지지만, RLMA는 안정적이고 뛰어난 성능을 유지한다.
• GLM과 RLMA의 조합은 모든 벤치마크 대비 예측 정확도와 장기 보상 측면에서 뚜렷한 승리를 거두었으며, 실세계의 동적 환경에서 프레임워크의 유효성을 검증했다.