[论文解读] GRACE: Loss-Resilient Real-Time Video Communication Using Data-Scalable Autoencoder

Yihua Cheng, Anton Arapin+5 more|arXiv (Cornell University)|Oct 29, 2022

Video Coding and Compression Technologies被引用 4

一句话总结

Grace 提出了一种基于自定义训练自编码器的可扩展数据实时视频系统，可在丢包时实现平滑的质量下降，支持从任意非空数据包子集进行解码。与传统编码器相比，该系统将第95百分位帧延迟最多降低2倍，且在理想条件下仅造成轻微的品质损失。

ABSTRACT

Across many real-time video applications, we see a growing need (especially in long delays and dynamic bandwidth) to allow clients to decode each frame once any (non-empty) subset of its packets is received and improve quality with each new packet. We call it data-scalable delivery. Unfortunately, existing techniques (e.g., FEC, RS and Fountain Codes) fall short: they require either delivery of a minimum number of packets to decode frames, and/or pad video data with redundancy in anticipation of packet losses, which hurts video quality if no packets get lost. This work explores a new approach, inspired by recent advances of neural-network autoencoders, which make data-scalable delivery possible. We present Grace, a concrete data-scalable real-time video system. With the same video encoding, Grace's quality is slightly lower than traditional codec without redundancy when no packet is lost, but with each missed packet, its quality degrades much more gracefully than existing solutions, allowing clients to flexibly trade between frame delay and video quality. Grace makes two contributions: (1) it trains new custom autoencoders to balance compression efficiency and resilience against a wide range of packet losses; and (2) it uses a new transmission scheme to deliver autoencoder-coded frames as individually decodable packets. We test Grace (and traditional loss-resilient schemes and codecs) on real network traces and videos, and show that while Grace's compression efficiency is slightly worse than heavily engineered video codecs, it significantly reduces tail video frame delay (by 2$ imes$ at the 95th percentile) with the marginally lowered video quality

研究动机与目标

• 解决在动态、丢包网络条件下实时视频传输中视频质量与帧延迟之间的平衡挑战。
• 克服传统抗丢包技术（如前向纠错FEC和喷泉码）的局限性，这些技术通常需要最低数据包阈值，或以牺牲质量为代价换取鲁棒性。
• 实现可扩展数据传输——即任意非空数据包子集均可解码出一帧图像，且随着更多数据包到达，画质逐步提升。
• 设计一种系统，在无数据包丢失时保持高视频质量，同时在丢包率增加时实现平滑的质量下降。
• 集成经过训练以抵御数据包丢失的神经自编码器，实现无需预先知晓丢包模式的联合信源信道编码。

提出的方法

• 在训练过程中使用模拟丢包数据训练定制自编码器，使其同时学习高效压缩与抗数据丢失能力。
• 采用新型传输方案，将自编码器编码的帧作为可独立解码的数据包进行传输，支持从任意接收数据包子集进行解码。
• 实现一种可扩展的数据抽象机制，使得帧质量随接收数据包数量的增加而平滑提升，区别于SVC等分层方案。
• 利用神经网络的可微性，在即使丢包本身不可微的情况下，优化自编码器在各种丢包场景下的行为。
• 将基于自编码器的系统集成到兼容WebRTC和标准视频工作负载的实时视频流水线中。
• 以预训练自编码器（如Vimeo-90K和COCO数据集中的模型）为基础，通过微调实现可扩展性，而无需修改网络结构。

实验结果

研究问题

• RQ1 神经自编码器能否在训练中实现随丢包率增加而平滑下降的视频质量，从而支持可扩展数据传输？
• RQ2 在真实网络条件下，与传统抗丢包编码器（如H.264+FEC）相比，可扩展自编码器系统在视频质量和帧延迟方面的表现如何？
• RQ3 在不显著降低压缩效率的前提下，通过模拟丢包训练自编码器在多大程度上提升了其抗丢包能力？
• RQ4 可扩展数据传输是否能减少实时视频系统中的尾部帧延迟，而无需依赖精确的丢包预测或重传机制？
• RQ5 在高网络抖动和带宽波动的场景下，尤其当高RTT导致重传无效时，该系统表现如何？

主要发现

• 与传统编码器及抗丢包方案相比，Grace 将第95百分位帧延迟最多降低2倍，且在无丢包条件下仅造成轻微的品质损失。
• 在无数据包丢失时，Grace 的视频质量与 H.264 相当，仅因自编码器为增强鲁棒性而做出的固有权衡导致轻微下降。
• 随着丢包率上升，Grace 的视频质量下降比 FEC、喷泉码或 SVC 更为平滑，在显著丢包情况下仍能保持可用画质。
• 系统支持从任意非空数据包子集进行解码，消除了传统前向纠错方案所需的最低数据包阈值要求。
• 尽管未针对峰值编码效率进行优化，Grace 的压缩效率与 H.264 和 H.265 在相同码率下相当。
• 该方法与现有拥塞控制和自适应流媒体技术具有互补性，因为它减少了对精确丢包预测和重传机制的依赖。