[论文解读] FVC: A New Framework towards Deep Video Compression in Feature Space

Zhihao Hu, Guo Lu+1 more|arXiv (Cornell University)|May 20, 2021

Advanced Image Processing Techniques参考文献 35被引用 10

一句话总结

该论文提出FVC，一种新颖的深度视频压缩框架，通过可变形卷积和多帧特征融合，在特征空间中完全实现运动估计、补偿和残差压缩。通过利用学习得到的偏移图实现动态核对齐，并采用非局部注意力机制聚合参考特征，FVC在HEVC、UVG、VTL和MCL-JCV数据集上均达到最先进性能，在PSNR和BD-rate效率方面均优于先前方法。

ABSTRACT

Learning based video compression attracts increasing attention in the past few years. The previous hybrid coding approaches rely on pixel space operations to reduce spatial and temporal redundancy, which may suffer from inaccurate motion estimation or less effective motion compensation. In this work, we propose a feature-space video coding network (FVC) by performing all major operations (i.e., motion estimation, motion compression, motion compensation and residual compression) in the feature space. Specifically, in the proposed deformable compensation module, we first apply motion estimation in the feature space to produce motion information (i.e., the offset maps), which will be compressed by using the auto-encoder style network. Then we perform motion compensation by using deformable convolution and generate the predicted feature. After that, we compress the residual feature between the feature from the current frame and the predicted feature from our deformable compensation module. For better frame reconstruction, the reference features from multiple previous reconstructed frames are also fused by using the non-local attention mechanism in the multi-frame feature fusion module. Comprehensive experimental results demonstrate that the proposed framework achieves the state-of-the-art performance on four benchmark datasets including HEVC, UVG, VTL and MCL-JCV.

研究动机与目标

• 为解决深度视频压缩中基于像素的运动估计与补偿方法在复杂非刚性运动下存在的不准确性问题。
• 通过在特征空间中使用带有学习偏移图的可变形卷积，提升运动补偿的准确性。
• 通过非局部注意力机制融合多帧先前重建的特征，提升帧重建质量。
• 实现一种混合型深度视频压缩框架的端到端训练，使特征空间操作无缝集成。
• 与现有基于学习的视频编码器相比，实现更优的压缩效率和重建质量。

提出的方法

• 在特征空间中执行运动估计，生成引导可变形卷积进行运动补偿的偏移图。
• 使用自编码器结构的网络对偏移图进行压缩，并重建以供可变形卷积用于预测当前帧的特征。
• 使用另一自编码器结构的网络对真实特征与预测特征之间的残差特征进行压缩。
• 多帧特征融合模块利用非局部注意力机制，将多帧先前重建的特征进行融合，以优化初始重建结果。
• 所有组件均进行端到端训练，整个框架针对率失真性能进行优化。
• 该框架采用混合设计，保留了传统视频编码器的结构，但将基于像素的操作替换为基于特征空间的操作。

实验结果

研究问题

• RQ1 在特征空间中使用可变形卷积进行运动补偿，是否能优于传统基于像素级光流的方法？
• RQ2 在特征空间中将运动信息作为学习得到的偏移图进行压缩，是否能相比在像素空间中压缩光流获得更优的率失真性能？
• RQ3 通过非局部注意力机制实现多帧特征融合，是否能借助多帧之前的时序上下文提升重建质量？
• RQ4 当所有核心操作——运动估计、补偿和残差压缩——均在特征空间中执行时，是否可行实现深度视频压缩网络的端到端训练？
• RQ5 所提出的FVC框架是否在包括HEVC、UVG、VTL和MCL-JCV在内的多样化基准数据集上均达到最先进性能？

主要发现

• 与DVC*相比，FVC在HEVC Class C数据集上于0.017 bpp下实现1.75 dB的PSNR增益，证明了特征空间运动补偿的有效性。
• 可变形补偿模块将运动编码比特率降低65%，同时在RaceHorses序列的缩放区域实现0.27 dB的PSNR增益。
• 在HEVC Class D数据集上，FVC相比H.265实现-18.39%的BD-rate增益，优于DVC和DVC*。
• 轻量化版本FVC-basic在1920×1080视频上实现-7.09%的BD-rate增益，推理时间缩短至201ms。
• 多帧特征融合模块对重建质量有显著贡献，融合推理时间为347ms，可进一步优化。
• 在四个基准数据集上的全面实验表明，FVC在PSNR和BD-rate指标上均实现最先进性能。