[论文解读] Energy-Efficient Multi-Codec Bitrate-Ladder Estimation for Adaptive Video Streaming

Vignesh V Menon, Reza Farahani+4 more|arXiv (Cornell University)|Oct 14, 2023

Image and Video Quality Assessment被引用 5

一句话总结

本论文提出 MCBE，一种在线、节能的多编解码器码率阶梯估计方案，通过在感知性能上 AVC 优于新世代编解码器（HEVC、AV1）时，消除其冗余表示，从而降低自适应视频流媒体的编码、存储和传输能耗。利用随机森林模型进行 VMAF 预测并结合 JND 阈值，MCBE 相较于行业标准 HLS 码率阶梯，实现最高达 56.45% 的编码能耗降低、94.99% 的存储能耗降低以及 77.61% 的传输能耗降低。

ABSTRACT

With the emergence of multiple modern video codecs, streaming service providers are forced to encode, store, and transmit bitrate ladders of multiple codecs separately, consequently suffering from additional energy costs for encoding, storage, and transmission. To tackle this issue, we introduce an online energy-efficient Multi-Codec Bitrate ladder Estimation scheme (MCBE) for adaptive video streaming applications. In MCBE, quality representations within the bitrate ladder of new-generation codecs (e.g., High Efficiency Video Coding (HEVC), Alliance for Open Media Video 1 (AV1)) that lie below the predicted rate-distortion curve of the Advanced Video Coding (AVC) codec are removed. Moreover, perceptual redundancy between representations of the bitrate ladders of the considered codecs is also minimized based on a Just Noticeable Difference (JND) threshold. Therefore, random forest-based models predict the VMAF score of bitrate ladder representations of each codec. In a live streaming session where all clients support the decoding of AVC, HEVC, and AV1, MCBE achieves impressive results, reducing cumulative encoding energy by 56.45%, storage energy usage by 94.99%, and transmission energy usage by 77.61% (considering a JND of six VMAF points). These energy reductions are in comparison to a baseline bitrate ladder encoding based on current industry practice.

研究动机与目标

• 降低在 AVC、HEVC 和 AV1 等现代视频编解码器之间为多码率阶梯进行编码、存储和传输所带来的高昂能耗。
• 解决当前多编解码器流媒体实践中的低效问题，即即使旧式编解码器（如 AVC）在率失真性能上更优，仍对新编解码器（如 HEVC、AV1）进行冗余编码与存储。
• 通过采用六 VMAF 点的感知差异阈值（JND），最小化不同编解码器表示之间的感知冗余。
• 开发一种在线、低延迟的方法，用于估计优化的码率阶梯，优先考虑能效，同时不牺牲感知质量。
• 使流媒体服务提供商能够通过智能编解码器表示选择，显著降低运营成本和环境影响。

提出的方法

• MCBE 框架使用基于低复杂度时空特征训练的随机森林模型，预测多编解码器下每个码率阶梯表示的 VMAF 分数。
• 若新世代编解码器（HEVC、AV1）的预测 VMAF 分数低于相同码率下 AVC 的率失真曲线，则从码率阶梯中移除该表示。
• 通过基于 JND 阈值（六 VMAF 点）的策略，消除任意表示的 VMAF 分数与另一表示相差不超过六点的情况，从而最小化编解码器表示间的感知冗余。
• 该方法为在线处理，特征提取速率达 370 fps，4 秒 2160p 视频片段的总推理时间为 0.37 秒，引入的延迟可忽略不计。
• 该系统兼容任何现有码率阶梯估计方案（如 HLS、OPTE 或 JTPS），可无缝集成至实时流媒体处理管道。
• 编码能耗通过 CodeCarbon 建模，存储能耗采用每比特功耗模型，以量化编码、存储和传输能耗的降低。

Figure 1 : An example of a multi-codec streaming system.

实验结果

研究问题

• RQ1 当 AVC 在率失真性能上优于新世代编解码器（HEVC、AV1）时，是否可以安全地消除其冗余表示而不造成感知质量损失？
• RQ2 基于 JND 阈值，多编解码器码率阶梯表示之间的感知冗余可被减少到何种程度？
• RQ3 与最先进的码率阶梯方案相比，MCBE 在编码、存储和传输方面可实现多大程度的能耗降低？
• RQ4 将 MCBE 集成到在线实时流媒体管道中，其引入的延迟开销是多少？
• RQ5 使用低复杂度特征进行 VMAF 预测，在指导码率阶梯优化方面，其准确性如何？

主要发现

• 当设备支持 AVC、HEVC 和 AV1 解码，且应用六 VMAF 点的 JND 阈值时，MCBE 相较于 HLS 码率阶梯，将累计编码能耗降低了 56.45%。
• 相较于 HLS 基线，存储能耗降低了 94.99%，主要归因于存储数据量减少了 77.61%。
• 相较于 HLS 基线，传输能耗降低了 77.61%，因为传输的表示数量更少。
• VMAF 预测的平均绝对误差（MAE）为 2.42，对实时流媒体应用而言可接受。
• 对于 4 秒的 2160p 视频片段，MCBE 引入的额外延迟仅为 0.37 秒，适合实时部署。
• 该方法通过基于感知质量和能效的冗余表示消除，在视频流媒体的编码、存储和传输各阶段均实现了显著的能耗节省。

(a) Basketball_s000