[论文解读] Markov Decision Policies for Dynamic Video Delivery in Wireless Caching Networks

Minseok Choi, Albert No+2 more|arXiv (Cornell University)|Feb 28, 2019

Caching and Content Delivery参考文献 33被引用 4

一句话总结

本文提出了一种在无线缓存网络中动态视频传输的策略，结合使用李雅普诺夫优化与马尔可夫决策过程，联合优化缓存节点关联、视频质量与数据块传输量。该策略在高时间平均视频质量与低播放延迟之间实现了平衡，优于现有方案，在两项指标上均表现更优，并可通过系统参数 $V$ 实现性能的可调性。

ABSTRACT

This paper proposes a video delivery strategy for dynamic streaming services which maximizes time-average streaming quality under a playback delay constraint in wireless caching networks. The network where popular videos encoded by scalable video coding are already stored in randomly distributed caching nodes is considered under adaptive video streaming concepts, and distance-based interference management is investigated in this paper. In this network model, a streaming user makes delay-constrained decisions depending on stochastic network states: 1) caching node for video delivery, 2) video quality, and 3) the quantity of video chunks to receive. Since wireless link activation for video delivery may introduce delays, different timescales for updating caching node association, video quality adaptation, and chunk amounts are considered. After associating with a caching node for video delivery, the streaming user chooses combinations of quality and chunk amounts in the small timescale. The dynamic decision making process for video quality and chunk amounts at each slot is modeled using Markov decision process, and the caching node decision is made based on the framework of Lyapunov optimization. Our intensive simulations verify that the proposed video delivery algorithm works reliably and also can control the tradeoff between video quality and playback latency.

研究动机与目标

• 解决无线缓存网络中用户因网络条件变化与移动性导致的动态视频传输挑战。
• 在延迟约束下，联合优化三个相互依赖的决策：缓存节点关联、视频质量等级与需传输的视频块数量。
• 在随机时变网络环境中，最大化时间平均视频质量，同时确保播放延迟保持可接受的低水平。
• 引入多时间尺度决策框架，其中节点关联缓慢更新，而质量与块大小则通过MDP快速自适应调整。
• 通过李雅普诺夫优化参数 $V$ 实现视频质量与播放延迟之间可调的权衡。

提出的方法

• 使用马尔可夫决策过程（MDP）对快速时间尺度的决策（视频质量与数据块数量）进行建模，以捕捉状态依赖的动作选择。
• 采用基于帧的李雅普诺夫优化来管理缓慢时间尺度的缓存节点关联决策，确保系统稳定性和满足延迟约束。
• 将问题形式化为漂移加惩罚最小化问题，以平衡视频质量最大化与延迟避免。
• 应用动态规划求解MDP部分，根据当前信道状态与队列状态，确定每个时隙的最优质量-块大小组合。
• 将MDP策略与基于李雅普诺夫的节点关联策略集成，实现在不同时间尺度上的联合优化。
• 利用可伸缩视频编码（SVC）技术，使同一视频的不同质量层可独立缓存与传输。

实验结果

研究问题

• RQ1 在具有延迟约束的动态无线缓存网络中，如何联合优化缓存节点关联、视频质量与数据块传输量？
• RQ2 不同时间尺度对移动、随机环境中的视频传输策略性能有何影响？
• RQ3 李雅普诺夫优化框架能否有效平衡视频质量与播放延迟，同时保持系统稳定性？
• RQ4 与静态或启发式策略（如‘最强信号’、‘最高质量’与‘一步法’）相比，所提策略在质量与延迟权衡方面表现如何？
• RQ5 系统参数 $V$ 在多大程度上可用于调节视频质量与播放延迟之间的权衡？

主要发现

• 所提策略实现的平均视频质量显著高于‘最强信号’与‘最高质量’方案，同时播放延迟发生率与‘最强信号’相当。
• ‘一步法’方案在低 $V$ 时质量高于所提方法，但延迟性能极差，表明其难以有效控制延迟。
• 随着 $V$ 增大，所提方案在延迟发生率小幅上升的情况下显著提升视频质量，证明了质量-延迟权衡的高效可调性。
• 所提方案在不同SINR水平下均保持稳健性能，优于‘最高质量’方案，后者在高干扰下性能显著下降。
• ‘最强信号’策略因强信道选择，在不同SINR水平下表现出稳定的延迟性能，但所提方法在相同延迟约束下实现了更优的视频质量。
• 各方案在不同指标与参数设置下的性能排名保持一致，证实了所提方法的可靠性与优越性。