[论文解读] Content-Adaptive Variable Framerate Encoding Scheme for Green Live Streaming

Vignesh V Menon, Samira Afzal+4 more|arXiv (Cornell University)|Nov 14, 2023

Image and Video Quality Assessment被引用 7

一句话总结

该论文提出了一种面向绿色直播流媒体的内容自适应可变帧率（CVFR）编码方案，通过低复杂度的DCT域时空特征，动态选择每层码率的最优帧率和编码预设。CVFR-ECO将编码和存储能耗分别降低了34.54%和76.24%；CVFR-HQ在保持低延迟约束的前提下，将质量提升了2.43 dB PSNR和10.14 VMAF点，同时将存储能耗降低83.18%。

ABSTRACT

Adaptive live video streaming applications use a fixed predefined configuration for the bitrate ladder with constant framerate and encoding presets in a session. However, selecting optimized framerates and presets for every bitrate ladder representation can enhance perceptual quality, improve computational resource allocation, and thus, the streaming energy efficiency. In particular, low framerates for low-bitrate representations reduce compression artifacts and decrease encoding energy consumption. In addition, an optimized preset may lead to improved compression efficiency. To this light, this paper proposes a Content-adaptive Variable Framerate (CVFR) encoding scheme, which offers two modes of operation: ecological (ECO) and high-quality (HQ). CVFR-ECO optimizes for the highest encoding energy savings by predicting the optimized framerate for each representation in the bitrate ladder. CVFR-HQ takes it further by predicting each representation's optimized framerate-encoding preset pair using low-complexity discrete cosine transform energy-based spatial and temporal features for compression efficiency and sustainable storage. We demonstrate the advantage of CVFR using the x264 open-source video encoder. The results show that CVFR-ECO yields an average PSNR and VMAF increase of 0.02 dB and 2.50 points, respectively, for the same bitrate, compared to the fastest preset highest framerate encoding. CVFR-ECO also yields an average encoding and storage energy consumption reduction of 34.54% and 76.24%, considering a just noticeable difference (JND) of six VMAF points. In comparison, CVFR-HQ yields an average increase in PSNR and VMAF of 2.43 dB and 10.14 points, respectively, for the same bitrate. Finally, CVFR-HQ resulted in an average reduction in storage energy consumption of 83.18%, considering a JND of six VMAF points.

研究动机与目标

• 为解决自适应直播视频流媒体的高能耗问题，通过优化编码参数以提升可持续性。
• 在不损害直播流媒体感知质量的前提下，降低数据中心的计算与存储能耗成本。
• 在低延迟约束下，实现基于视频内容特征的动态帧率与预设选择编码。
• 通过基于可察觉差异（JND）的表示消除算法，最小化感知冗余。
• 提供两种运行模式：面向能效优化的（CVFR-ECO）和面向质量优化的（CVFR-HQ），以满足多样化的流媒体服务需求。

提出的方法

• 基于来自空间域与时间域的低复杂度DCT能量特征，使用随机森林模型预测码率阶梯中每一层表示的最优帧率与编码预设。
• 该方法采用基于JND的表示消除算法，移除感知冗余的表示，从而减小数据量并降低能耗。
• 实现两种模式：CVFR-ECO使用最快预设并优化帧率以最小化编码能耗；CVFR-HQ联合优化帧率与预设，以实现最大压缩效率。
• 该方法在标准直播流媒体内容上使用x264编码器进行评估，与固定帧率、最快预设的基线编码进行对比。
• 编码与存储能耗的节省通过量化评估，质量保持使用PSNR与VMAF指标衡量。
• 采用六VMAF点的JND阈值，定义感知质量等价性，用于能耗与码率节省的计算。

Figure 1 : An example scenario of a VFR encoding scheme for adaptive streaming that encodes a video segment of ultra-high definition resolution and 30fps in representation (7.8 Mbps, 1080p) with the selected framerate of 15fps. On the client side, red dashed blocks indicate the additional steps intr

实验结果

研究问题

• RQ1 内容自适应可变帧率编码是否能在不牺牲感知质量的前提下，降低直播流媒体的编码与存储能耗？
• RQ2 对每层码率动态选择帧率与编码预设，如何影响压缩效率与能耗？
• RQ3 在优化编码能耗（CVFR-ECO）或压缩效率（CVFR-HQ）时，感知质量与能效之间的权衡关系如何？
• RQ4 通过基于JND的表示消除，感知冗余可被减少到何种程度，同时保持质量？
• RQ5 所提出的方案是否可应用于具有低延迟约束的直播流媒体，并对现有HTTP自适应流媒体（HAS）架构进行最小改动？

主要发现

• 与固定帧率、最快预设编码相比，CVFR-ECO在六VMAF点JND阈值下，平均编码能耗降低34.54%，存储能耗降低76.24%。
• CVFR-ECO在保持相同PSNR时实现17.91%的码率节省，在保持相同VMAF时实现13.54%的码率节省，相较基线。
• CVFR-HQ在相同码率下，平均PSNR提升2.43 dB，VMAF提升10.14点，质量表现优于基线。
• 在相同六VMAF点JND阈值下，CVFR-HQ相比基线将存储能耗降低83.18%。
• 尽管编码能耗较高（比基线高出282.94%），CVFR-HQ仍实现了更优的压缩效率，并在存储与传输能耗方面实现显著节省。
• 所提出的基于JND的表示消除方法能有效减小数据量与能耗，同时保持感知质量。

(a) Average PSNR.