[论文解读] Convex Hull Prediction for Adaptive Video Streaming by Recurrent Learning

Somdyuti Paul, Andrey Norkin+1 more|arXiv (Cornell University)|Jun 10, 2022

Image and Video Quality Assessment被引用 4

一句话总结

该论文提出RCN-Hull，一种基于循环卷积神经网络（RCN）的模型，用于预测自适应视频流的每帧凸包，显著减少了预编码时间。通过利用Conv-GRU提取时空特征，并采用两步迁移学习策略，该方法实现了平均58.0%的时间节省，BD-rate误差为0.08%，与真实值的平均绝对偏差为0.44%，优于基于代理和基于特征的方法。

ABSTRACT

Adaptive video streaming relies on the construction of efficient bitrate ladders to deliver the best possible visual quality to viewers under bandwidth constraints. The traditional method of content dependent bitrate ladder selection requires a video shot to be pre-encoded with multiple encoding parameters to find the optimal operating points given by the convex hull of the resulting rate-quality curves. However, this pre-encoding step is equivalent to an exhaustive search process over the space of possible encoding parameters, which causes significant overhead in terms of both computation and time expenditure. To reduce this overhead, we propose a deep learning based method of content aware convex hull prediction. We employ a recurrent convolutional network (RCN) to implicitly analyze the spatiotemporal complexity of video shots in order to predict their convex hulls. A two-step transfer learning scheme is adopted to train our proposed RCN-Hull model, which ensures sufficient content diversity to analyze scene complexity, while also making it possible to capture the scene statistics of pristine source videos. Our experimental results reveal that our proposed model yields better approximations of the optimal convex hulls, and offers competitive time savings as compared to existing approaches. On average, the pre-encoding time was reduced by 53.8% by our method, while the average Bjontegaard delta bitrate (BD-rate) of the predicted convex hulls against ground truth was 0.26%, and the mean absolute deviation of the BD-rate distribution was 0.57%.

研究动机与目标

• 为减少自适应视频流中每帧凸包生成的高计算与时间开销。
• 通过预测无需全面预编码的最优码率-质量点，实现内容感知的码率层级优化。
• 开发一种深度学习模型，以捕捉视频帧中的长程时空复杂性，实现准确的凸包估计。
• 在与现有方法相比时，实现显著的时间节省，同时保持高精度的凸包预测。
• 通过迁移学习和端到端训练，在多样化视频内容和帧长上实现良好泛化。

提出的方法

• 采用基于Conv-GRUs的循环卷积神经网络（RCN），联合建模视频帧在空间与时间维度上的特征。
• 通过两步迁移学习方案进行训练：首先在多样化视频帧数据集上预训练，然后在原始源视频上微调，以捕捉场景统计特性。
• 从每帧的300帧片段中提取时空特征，以表现场景复杂度并预测凸包点。
• RCN-Hull模型预测码率-质量曲线上的Pareto最优点，无需完整预编码即可近似真实凸包。
• 通过与真实值及基线方法对比，使用BD-rate、平均绝对偏差（MAD）和时间节省率评估模型性能。
• 在六个测试序列及2–3秒的短片段上验证了方法的鲁棒性，适用于不同帧长。

实验结果

研究问题

• RQ1 深度学习模型能否在无需全面预编码的情况下准确预测视频帧的凸包？
• RQ2 与基于代理和手工特征的方法相比，RCN-Hull在预测精度和时间效率方面表现如何？
• RQ3 该模型在不同帧长和视频内容类型上的泛化能力如何？
• RQ4 采用两步迁移学习策略对模型性能和训练效率有何影响？
• RQ5 该模型能否在保持与真实凸包BD-rate偏差极低的同时，实现显著的时间节省？

主要发现

• RCN-Hull模型相比完整预编码实现了平均58.0%的时间节省，显著优于插值法和基于代理的方法。
• 预测凸包的平均BD-rate为0.08%，表明对真实码率-质量曲线的近似接近最优。
• BD-rate分布的平均绝对偏差（MAD）为0.44%，表明预测结果分散度低，可靠性高。
• 该模型在短帧视频（2–3秒）上表现强劲，时间节省最高达70.1%，且BD-rate保持在±1%以内。
• 在长帧和高分辨率序列上，RCN-Hull在精度（更低的BD-rate与MAD）和速度方面均优于基于代理和基于特征的模型。
• 该模型在多样化视频内容中表现一致，如在'Wildlife'和'Aspen'序列上偏差极小，仅在'Tree'序列上出现轻微误差。