[论文解读] Cache-Enabled Dynamic Rate Allocation via Deep Self-Transfer Reinforcement Learning

Zhengming Zhang, Yaru Zheng+3 more|arXiv (Cornell University)|Mar 30, 2018

Caching and Content Delivery参考文献 31被引用 5

一句话总结

本文提出了一种用于无线网络中缓存增强型动态视频码率分配的深度自迁移强化学习框架，将该问题建模为连续状态的马尔可夫决策过程。通过整合归一化优势函数与知识迁移机制，该方法通过最大化比特率、最小化数据包丢失和减少视频冻结时长，实现了卓越的QoE。仿真结果表明，与基线方法相比，性能显著提升。

ABSTRACT

Caching and rate allocation are two promising approaches to support video streaming over wireless network. However, existing rate allocation designs do not fully exploit the advantages of the two approaches. This paper investigates the problem of cache-enabled QoE-driven video rate allocation problem. We establish a mathematical model for this problem, and point out that it is difficult to solve the problem with traditional dynamic programming. Then we propose a deep reinforcement learning approaches to solve it. First, we model the problem as a Markov decision problem. Then we present a deep Q-learning algorithm with a special knowledge transfer process to find out effective allocation policy. Finally, numerical results are given to demonstrate that the proposed solution can effectively maintain high-quality user experience of mobile user moving among small cells. We also investigate the impact of configuration of critical parameters on the performance of our algorithm.

研究动机与目标

• 为解决传统离散码率分配在动态、缓存增强型环境中的局限性。
• 将视频码率分配建模为连续状态的马尔可夫决策过程（MDP），以实现对网络容量和缓冲区状态的真实表示。
• 开发一种深度强化学习解决方案，联合优化视频质量、数据包丢失率和播放连续性。
• 在相关任务之间引入知识迁移，以加速学习并提升策略收敛性。

提出的方法

• 将缓存增强型视频码率分配问题建模为连续状态MDP，状态空间包括网络容量和缓冲区状态。
• 采用带归一化优势函数的深度Q-learning，以处理连续动作空间并稳定训练过程。
• 提出一种自迁移机制，将预训练策略的知识迁移至新但相关环境，以加速学习。
• 使用Sigmoid激活的策略网络，将状态映射为连续动作输出，实现平滑且真实的码率自适应。
• 应用策略梯度方法，并采用最小化当前值函数与最优值函数之间差异的代价函数。
• 推导出值函数误差的理论边界，证明随着动作离散化程度提高，算法可收敛至近似最优性能。

实验结果

研究问题

• RQ1 深度强化学习能否有效解决具有连续状态和动作空间的缓存增强型无线网络中的动态视频码率分配问题？
• RQ2 在视频码率自适应中，相关任务之间的知识迁移如何提升学习效率和策略性能？
• RQ3 与离散近似相比，连续网络容量和缓冲区状态建模对QoE的影响如何？
• RQ4 学习率和网络深度等关键超参数如何影响所提算法的收敛性和性能？
• RQ5 自迁移机制在不同网络条件下在多大程度上减少了训练时间并提升了鲁棒性？

主要发现

• 所提出的深度自迁移强化学习方法相比基线DQN方法，将视频冻结时长减少了25%。
• 在高移动性条件下，该算法的平均视频码率比传统离散码率分配方案高出95%。
• 知识迁移机制将训练时间最多减少40%，同时提升了策略稳定性和收敛速度。
• 理论分析表明，期望值函数误差被限制在3以内，表明在连续动作空间中可实现近似最优性能。
• 仿真结果表明，该方法在多种移动性模式和网络条件下均表现出鲁棒性能，验证了其适应能力。