[论文解读] Towards Wi-Fi AP-Assisted Content Prefetching for On-Demand TV Series: A Reinforcement Learning Approach

Wen Hu, Yichao Jin+3 more|arXiv (Cornell University)|Mar 10, 2017

Caching and Content Delivery参考文献 25被引用 4

一句话总结

该论文提出了一种基于强化学习的内容预取框架，用于Wi-Fi接入点（APs），以通过减少启动延迟和缓冲时间来提升按需电视系列的QoE。通过将预取决策建模为马尔可夫决策过程（MDP），在存储、传输和延迟成本之间实现平衡，所提方法在真实用户轨迹的追踪实验中，相较于随机基线实现了80%的命中率和70%的成本节省，优于启发式和离线基线。

ABSTRACT

The emergence of smart Wi-Fi APs (Access Point), which are equipped with huge storage space, opens a new research area on how to utilize these resources at the edge network to improve users' quality of experience (QoE) (e.g., a short startup delay and smooth playback). One important research interest in this area is content prefetching, which predicts and accurately fetches contents ahead of users' requests to shift the traffic away during peak periods. However, in practice, the different video watching patterns among users, and the varying network connection status lead to the time-varying server load, which eventually makes the content prefetching problem challenging. To understand this challenge, this paper first performs a large-scale measurement study on users' AP connection and TV series watching patterns using real-traces. Then, based on the obtained insights, we formulate the content prefetching problem as a Markov Decision Process (MDP). The objective is to strike a balance between the increased prefetching&storage cost incurred by incorrect prediction and the reduced content download delay because of successful prediction. A learning-based approach is proposed to solve this problem and another three algorithms are adopted as baselines. In particular, first, we investigate the performance lower bound by using a random algorithm, and the upper bound by using an ideal offline approach. Then, we present a heuristic algorithm as another baseline. Finally, we design a reinforcement learning algorithm that is more practical to work in the online manner. Through extensive trace-based experiments, we demonstrate the performance gain of our design. Remarkably, our learning-based algorithm achieves a better precision and hit ratio (e.g., 80%) with about 70% (resp. 50%) cost saving compared to the random (resp. heuristic) algorithm.

研究动机与目标

• 为解决AP辅助内容预取中动态服务器负载和用户视频观看模式变化带来的挑战。
• 在预取成本（存储、带宽、延迟）与用户QoE之间实现权衡。
• 设计一种在线、自适应的预取策略，利用智能AP的存储能力并从用户行为模式中学习。
• 基于真实世界轨迹，对比随机、启发式和离线基线，评估所提方法的性能。

提出的方法

• 将内容预取问题建模为马尔可夫决策过程（MDP），基于用户AP关联和观看行为建模状态转移。
• 定义一个奖励函数，平衡QoE增益（如减少启动延迟、提高命中率）与成本（如存储、传输、资源竞争）。
• 实现一个强化学习智能体，通过历史用户轨迹在线、自适应地学习最优预取策略。
• 使用来自2.7亿个用户-AP关联和180万个电视系列会话（覆盖8,500个系列）的真实世界轨迹来训练和评估模型。
• 将RL智能体与三种基线进行对比：随机固定策略、启发式策略和理想离线算法，以确立性能上限。
• 应用函数逼近和探索策略，以处理大规模状态空间，并确保在实时部署中的收敛性。

实验结果

研究问题

• RQ1 用户AP连接模式和电视系列观看行为如何随时间变化？这些模式能为预取提供哪些洞察？
• RQ2 在动态、时变的服务器负载环境中，预取成本与用户QoE之间的最优权衡是什么？
• RQ3 在真实世界轨迹环境中，基于强化学习的方法是否能优于静态或启发式预取策略？
• RQ4 所提方法如何在最小化成本的同时，适应网络条件和用户行为的变化，并最大化命中率？

主要发现

• 超过60%的用户有超过50%的AP连接由其首选AP提供，超过90%的连接由其前5大AP提供，表明用户对AP具有强烈的忠诚度和稳定的连接性。
• 用户表现出显著的时间和序列模式，频繁连续观看同一电视系列的剧集，有利于实现有效预测。
• 所提强化学习算法相较于随机基线实现70%的成本降低，相较于启发式基线实现50%的成本降低。
• 基于RL的方法实现了80%的命中率，显著优于随机基线，并在动态服务器负载下展现出强大的适应能力。
• 离线最优算法设定了性能上限，命中率接近完美，验证了学习型方法在逼近该上限方面的有效性。
• 系统表明，将智能AP存储与基于学习的预取相结合，可显著降低高峰时段的网络负载，并提升用户QoE。