[论文解读] Compressing Video Calls using Synthetic Talking Heads

Madhav Agarwal, Anchit Gupta+3 more|arXiv (Cornell University)|Oct 7, 2022

Speech and Audio Processing被引用 4

一句话总结

本文提出一种用于对话头像视频通话的端到端视频压缩系统，利用合成对话头像，仅传输关键点和枢轴帧，从而大幅降低带宽。通过利用人脸换装、密集光流、帧插值和超分辨率技术，该方法在保持高视觉质量的同时，实现了创纪录的0.0012 BPP。自适应枢轴帧选择机制确保了长时间通话中的稳定性能。

ABSTRACT

We leverage the modern advancements in talking head generation to propose an end-to-end system for talking head video compression. Our algorithm transmits pivot frames intermittently while the rest of the talking head video is generated by animating them. We use a state-of-the-art face reenactment network to detect key points in the non-pivot frames and transmit them to the receiver. A dense flow is then calculated to warp a pivot frame to reconstruct the non-pivot ones. Transmitting key points instead of full frames leads to significant compression. We propose a novel algorithm to adaptively select the best-suited pivot frames at regular intervals to provide a smooth experience. We also propose a frame-interpolater at the receiver's end to improve the compression levels further. Finally, a face enhancement network improves reconstruction quality, significantly improving several aspects like the sharpness of the generations. We evaluate our method both qualitatively and quantitatively on benchmark datasets and compare it with multiple compression techniques. We release a demo video and additional information at https://cvit.iiit.ac.in/research/projects/cvit-projects/talking-video-compression.

研究动机与目标

• 为应对低连接区域视频通话日益增长的带宽需求，开发一种针对对话头像视频的专用压缩技术。
• 利用高层语义内容（如面部关键点、头部姿态和表情）实现超越通用编解码器的极端视频压缩。
• 在实时视频通话中显著降低每像素比特数（BPP），同时保持感知质量。
• 通过基于姿态和背景变化的自适应枢轴帧选择，实现在长时间视频通话中视觉质量稳定。
• 在接收端利用帧插值和超分辨率网络提升重建质量。

提出的方法

• 在通话开始时传输一个高分辨率的枢轴帧，随后每个非枢轴帧仅传输8字节的关键点，以表示面部几何结构和运动。
• 使用最先进的面部换装网络检测并传输关键点，随后利用这些关键点计算密集光流，以形变枢轴帧来重建中间帧。
• 在接收端应用一种新颖的帧插值网络，生成关键点传输帧之间的缺失帧，从而减少对频繁枢轴更新的需求。
• 采用基于图像块的超分辨率网络，将重建帧上采样至任意高分辨率，提升清晰度和视觉保真度。
• 引入一种自适应枢轴帧选择算法，当头部姿态变化超过15°或背景变化超过阈值（d_bg > 0.05）时触发新的枢轴帧，从而提升长期重建质量。
• 将关键点表示从每点24字节优化至8字节，显著降低传输开销。

实验结果

研究问题

• RQ1 基于合成生成的对话头像视频压缩系统能否显著低于传统编解码器（如H.264和H.265）的BPP？
• RQ2 使用紧凑的关键点（每点8字节）结合密集光流形变，在重建高质量对话头像视频方面效果如何？
• RQ3 在不增加带宽的前提下，接收端的帧插值在多大程度上提升了压缩效率？
• RQ4 自适应枢轴帧选择在应对动态头部姿态或背景变化的长时间视频通话中，如何缓解质量下降问题？
• RQ5 超分辨率重建能否在足够程度上提升视觉质量，以补偿低比特率传输带来的损失？

主要发现

• 所提方法实现BPP为0.0012，显著低于H.264（0.0057）和H.265（0.0039），同时保持了具有竞争力的PSNR（26.73）和SSIM（0.81）。
• 加入帧插值后，BPP降低至0.0006，同时PSNR保持在27.73以上，表明在极小质量损失下实现了高效压缩。
• 超分辨率网络将PSNR从16×16图像块的25.34提升至64×64图像块的27.47，表明图像块大小的选择显著影响重建质量。
• 采用阈值γ > 15°和d_bg > 0.05的自适应枢轴帧选择策略，使枢轴帧每约10秒更新一次，提升了长时间通话的视觉质量，且带宽成本可控。
• 关键点传输大小从每点24字节减少至8字节，使元数据开销降低66%。
• 定性结果表明，与基线方法相比，本方法生成的对话头像更清晰、更自然，尤其在长时间和动态视频序列中表现更优。