[论文解读] FRAS: Federated Reinforcement Learning empowered Adaptive Point Cloud Video Streaming

Yu Gao, Pengyuan Zhou+3 more|arXiv (Cornell University)|Jul 15, 2022

Image and Video Quality Assessment被引用 9

一句话总结

FRAS 提出了一种基于联邦强化学习（FRL）的点云视频自适应流媒体框架，通过客户端强化学习与联邦学习的全局模型聚合，联合优化用户体验质量（QoE）。相较于 ViVo 和 Pensieve 等基线方法，其平均 QoE 提升 86%，卡顿时间降低 67%，同时保护用户隐私。

ABSTRACT

Point cloud video transmission is challenging due to high encoding/decoding complexity, high video bitrate, and low latency requirement. Consequently, conventional adaptive streaming methodologies often find themselves unsatisfactory to meet the requirements in threefold: 1) current algorithms reuse existing quality of experience (QoE) definitions while overlooking the unique features of point cloud video thus failing to provide optimal user experience, 2) most deep learning approaches require long-span data collections to learn sufficiently varied network conditions and result in long training periods and capacity occupation, 3) cloud training approaches pose privacy risks caused by leakage of user reported service usage and networking conditions. To overcome the limitations, we present FRAS, the first federated reinforcement learning framework, to the best of our knowledge, for adaptive point cloud video streaming. We define a new QoE model which takes the unique features of point cloud video into account. Each client uses reinforcement learning (RL) to train video quality selection with the objective of optimizing the user's QoE under multiple constraints. Then, a federated learning framework is integrated with the RL algorithm to enhance training performance with privacy preservation. Extensive simulations using real point cloud videos and network traces reveal the superiority of the proposed scheme over baseline schemes. We also implement a prototype that demonstrates the performance of FRAS via real-world tests.

研究动机与目标

• 解决点云视频特有的挑战（如高码率、解码复杂度高、6自由度移动性）下缺乏定制化自适应流媒体解决方案的问题。
• 克服现有 QoE 模型未能考虑点云特有特征（如观看位置、朝向、解码成本）的局限性。
• 通过利用分布式客户端数据，缓解基于深度学习的自适应流媒体中长期训练时间和数据收集的需求。
• 通过避免集中式数据收集，采用联邦学习安全聚合模型更新，保护用户隐私。
• 构建一个端到端框架，联合优化动态网络和设备约束下的视频质量、带宽使用与卡顿时间。

提出的方法

• 为点云视频设计一种新型 QoE 模型，综合考虑观看位置、朝向、解码复杂度与质量等级。
• 采用线性回归方法，实现对用户视场（FoV）在 (X, Z, Yaw, Pitch) 维度上运动的精确、低复杂度预测。
• 采用指数加权移动平均（EWMA）方法，以低计算成本实现高效且准确的网络带宽预测。
• 在客户端实施强化学习（RL），根据资源约束选择最优的视频质量层级，以最大化用户 QoE。
• 集成联邦学习，将来自多个客户端的本地 RL 策略更新聚合为全局模型，提升泛化能力的同时保护数据隐私。
• 通过结合本地 RL 更新与周期性聚合训练全局 FRL 模型，并对数据异构性进行超参数调优。

实验结果

研究问题

• RQ1 如何设计一种 QoE 模型以反映点云视频的独特特性，如 6DoF 视角与可变解码复杂度？
• RQ2 联邦强化学习能否在保护用户隐私的前提下，有效提升点云视频自适应流媒体的性能？
• RQ3 不同的 FoV 与带宽预测方法如何影响自适应点云流媒体的性能表现？
• RQ4 在数据异构的联邦 RL 设置下，本地训练轮数与全局聚合频率之间应如何权衡以达到最优？
• RQ5 所提出的基于 FRL 的框架在 QoE、视频质量与卡顿时间方面，相较于现有自适应流媒体算法的优越程度如何？

主要发现

• 与 ViVo 相比，FRAS 将平均 QoE（奖励）提升 86%；与 robustMPC 相比提升 76%；与 Buffer-Based 相比提升 68%；与 Pensieve 相比提升 25%；与 QUETRA 相比提升 22%。
• 在所有基线方法中，FRAS 将平均视频质量层级提升 22% 至 28%，其中对 QUETRA 和 BB 的增益最高。
• FRAS 实现了平均 PSNR 提升 5% 至 6%，表明视觉质量更优，并且更高效地使用了 4% 至 11% 的更多带宽。
• 与 QUETRA 相比，FRAS 将平均卡顿时间减少 67%；与 robustMPC 相比减少 56%；与 BB 相比减少 33%；与 ViVo 相比减少 11%，表明带宽利用效率更优。
• FRL 训练过程的收敛性能优于基线 Pensieve RL 模型，奖励提升 9.77%，损失降低 49.81%。
• 真实世界原型测试验证，FRAS 在点云视频序列中提供了最高的视觉质量，证实了其实际可行性和优越性。