[论文解读] Hierarchical Autoregressive Modeling for Neural Video Compression

Ruihan Yang, Yibo Yang+2 more|arXiv (Cornell University)|Oct 19, 2020

Image and Signal Denoising Methods参考文献 48被引用 6

一句话总结

本文提出了一种用于神经视频压缩的分层自回归建模框架，通过引入可学习的缩放变换和对运动与残差潜在变量的结构化先验，改进了尺度空间流（Scale-Space Flow, SSF）模型。通过将视频压缩视为一种随机时间自回归流，该方法在UVG和MCL-JCV基准上实现了最先进的率失真性能，优于HEVC和先前的神经编解码器，尤其在低比特率下表现更优。

ABSTRACT

Recent work by Marino et al. (2020) showed improved performance in sequential density estimation by combining masked autoregressive flows with hierarchical latent variable models. We draw a connection between such autoregressive generative models and the task of lossy video compression. Specifically, we view recent neural video compression methods (Lu et al., 2019; Yang et al., 2020b; Agustssonet al., 2020) as instances of a generalized stochastic temporal autoregressive transform, and propose avenues for enhancement based on this insight. Comprehensive evaluations on large-scale video data show improved rate-distortion performance over both state-of-the-art neural and conventional video compression methods.

研究动机与目标

• 将神经视频压缩与自回归生成建模统一于一个共同的分层潜在变量框架下。
• 通过增强现有模型的先验和重建组件，提升神经视频压缩的率失真性能。
• 通过引入YouTube-NT数据集，解决神经视频压缩领域缺乏大规模、高分辨率基准数据集的问题。
• 通过序列生成建模的洞察，为最先进的模型（如Scale-Space Flow）提供原则性扩展。

提出的方法

• 该方法在分层变分推断框架内，将基于运动估计的视频压缩解释为一种随机时间自回归流。
• 引入可学习的缩放变换以提升重建精度，通过在先前模型仅使用平移变换的基础上增加缩放调制，实现扩展。
• 提出一种结构化先验，用于联合建模运动和残差潜在变量，利用其空间相关性以提升熵编码效率。
• 模型采用两阶段推理过程：首先推断运动潜在变量，然后利用其作为上下文，以条件化方式建模残差潜在变量的先验。
• 该框架通过将现有模型视为广义自回归流变换的特例，支持对它们的消融分析与扩展。
• 收集并发布了新的高分辨率视频数据集YouTube-NT，以支持未来的基准测试与模型训练。

实验结果

研究问题

• RQ1 分层自回归流能否用于统一并改进现有的神经视频压缩方法？
• RQ2 引入可学习的缩放变换对重建质量与率失真性能有何影响？
• RQ3 联合建模运动与残差潜在变量的结构化先验，是否能比独立先验更有效地降低比特率？
• RQ4 在更大规模、高分辨率数据集（如YouTube-NT）上进行训练，能在多大程度上提升模型的泛化能力与性能？
• RQ5 所提出的组件（缩放变换与结构化先验）在单独使用与联合使用时的表现如何比较？

主要发现

• 所提出的STAT-SSF-SP模型在UVG数据集上，无论在何种比特率下，均优于YUV 420模式下的HEVC和最先进的神经编解码器SSF，尤其在低比特率下优势显著。
• 当单独使用时，随机时间自回归变换（STAT）带来的性能增益大于结构化先验（SP）。
• 当两者结合使用时，性能提升最大，STAT-SSF-SP相比仅使用STAT-SSF的模型进一步降低了比特率。
• 在新引入的YouTube-NT数据集上进行训练，相比使用Vimeo-90k的数据集，可获得更优的率失真性能，缩小了与Agustsson等人（2020）所使用的大规模、封闭访问数据集训练模型之间的差距。
• 消融研究证实，结构化先验通过利用运动与残差潜在变量之间的空间相关性，显著提升了熵编码效率。
• 定性结果表明，包含缩放变换与结构化先验的模型在低比特率下能生成更细节丰富的重建结果，尤其在复杂运动区域表现更优。