[论文解读] Delay-Sensitive and Power-Efficient Quality Control of Dynamic Video Streaming using Adaptive Super-Resolution

Minseok Choi, Won Joon Yun+1 more|arXiv (Cornell University)|Oct 12, 2021

Image and Video Quality Assessment参考文献 53被引用 4

一句话总结

本文提出了一种延迟敏感、节能的视频流媒体系统，通过在发送端自适应压缩视频分片，并在接收端使用自适应超分辨率（SR）网络，联合优化视频质量、缓冲和资源使用。通过根据网络和设备状态动态调整压缩速率和SR网络深度，该方案在延迟、功耗和CPU使用方面均优于非自适应或非协作方法，实现了更优的服务质量。

ABSTRACT

In a decade, the adaptive quality control of video streaming and the super-resolution (SR) technique have been deeply explored. As edge devices improved to have exceptional processing capability than ever before, streaming users can enhance the received image quality to allow the transmitter to compress the images to save its power or pursue network efficiency. In this sense, this paper proposes a novel dynamic video streaming algorithm that adaptively compresses video chunks at the transmitter and separately enhances the quality at the receiver using SR. In order to allow transmission of video chunks with different compression levels and control of the computation burden, we present the adaptive SR network which is optimized by minimizing the weighted sum of losses extracted from different layer outputs. for dynamic video streaming. In addition, we jointly orchestrate video delivery and resource usage, and the proposed video delivery scheme balances the tradeoff well among the average video quality, the queuing delay, buffering time, transmit power, and computation power. Simulation results show that the proposed scheme pursues the quality-of-services (QoS) of the video streaming better than the adaptive quality control without the cooperation of the transmitter and the receiver and the non-adaptive SR network.

研究动机与目标

• 解决物联网和V2X网络等资源受限环境中对高质量视频流媒体日益增长的需求。
• 在时变信道和设备条件下，减少动态视频流媒体中的播放卡顿、队列延迟和功耗。
• 联合优化发送端和接收端的视频传输与计算任务，平衡视频质量、延迟和能耗等相互冲突的性能指标。
• 通过根据可用资源自适应调整超分辨率网络深度，实现对有限CPU和发射功率的高效利用。
• 通过自适应控制压缩和SR处理，提升动态视频流媒体中的服务质量（QoS）和用户体验质量（QoE）。

提出的方法

• 系统采用一种自适应深度的生成对抗网络超分辨率（ASRGAN），其深度根据可用CPU资源动态选择，以平衡质量与计算成本。
• 发送端根据接收端的队列状态、信道条件和缓冲水平，自适应地使用不同比特率压缩视频分片。
• 采用漂移加惩罚优化框架，联合控制传输速率、压缩级别和SR网络深度，最小化延迟、功耗和质量退化加权和。
• 通过最小化多个中间层输出的损失加权和，对自适应SR网络进行训练，实现质量与计算之间的灵活权衡。
• 系统实时监控发送端队列长度、接收端缓冲状态、发射功率和CPU使用率等指标，以实现动态决策。
• 优化框架使用参数 $ V $ 来加权视频质量退化的相对重要性，从而在质量与延迟/功耗之间实现可调的权衡。

实验结果

研究问题

• RQ1 在动态、资源受限的环境中，视频流媒体系统如何平衡视频质量、队列延迟和功耗？
• RQ2 如何自适应地控制发送端的视频压缩和接收端的超分辨率处理，以提升QoS和QoE？
• RQ3 在CPU和发射功率受限条件下，联合优化传输与计算决策如何影响视频流媒体性能？
• RQ4 自适应超分辨率在实时流媒体中能在多大程度上降低计算负载，同时保持可接受的视频质量？
• RQ5 与非自适应或非协作方法相比，所提方案在延迟、质量及资源效率方面表现如何？

主要发现

• 尽管使用了更多CPU核心，所提方案相比非自适应基线方法‘Comp1’显著减少了播放卡顿事件和平均缓冲长度。
• 当 $ heta = 2.5 $ 时，所提方案的CPU利用率比‘Comp1’高出2.5倍，表明资源利用更高效。
• 所提方案接收到的视频分片平均PSNR高于‘Comp1’，证明了视频质量的提升。
• 随着权重参数 $ V $ 增大，系统优先保证更高视频质量，导致ASRGAN网络更深，延迟事件减少，即使CPU使用率更高。
• 所提方案在视频质量、延迟和功耗消耗之间的权衡优于非自适应SR和非协作自适应流媒体方法。
• 发送端与接收端决策的联合控制使多个相互冲突的指标（如缓冲、延迟和能耗）表现出更均衡、更稳定的性能。