[论文解读] A Coding Framework and Benchmark towards Low-Bitrate Video Understanding

Yuan Tian, Lu Guo+4 more|arXiv (Cornell University)|Feb 6, 2022

Advanced Image Processing Techniques被引用 4

一句话总结

本文提出理解导向视频编码（UVC）框架，一种双流视频压缩系统，通过在标准压缩视频之外传输可学习的分析比特流，提升下游视频理解任务的性能。该框架利用边缘图的自监督对比学习以及自适应、动态的网络架构，在七个数据集和四种压缩级别下显著提升动作识别、检测与跟踪性能，相较于H.264和H.265等工业级编码器，仅增加极少的比特率开销，表现更优。

ABSTRACT

Video compression is indispensable to most video analysis systems. Despite saving transportation bandwidth, it also deteriorates downstream video understanding tasks, especially at low-bitrate settings. To systematically investigate this problem, we first thoroughly review the previous methods, revealing that three principles, i.e., task-decoupled, label-free, and data-emerged semantic prior, are critical to a machine-friendly coding framework but are not fully satisfied so far. In this paper, we propose a traditional-neural mixed coding framework that simultaneously fulfills all these principles, by taking advantage of both traditional codecs and neural networks (NNs). On one hand, the traditional codecs can efficiently encode the pixel signal of videos but may distort the semantic information. On the other hand, highly non-linear NNs are proficient in condensing video semantics into a compact representation. The framework is optimized by ensuring that a transportation-efficient semantic representation of the video is preserved w.r.t. the coding procedure, which is spontaneously learned from unlabeled data in a self-supervised manner. The videos collaboratively decoded from two streams (codec and NN) are of rich semantics, as well as visually photo-realistic, empirically boosting several mainstream downstream video analysis task performances without any post-adaptation procedure. Furthermore, by introducing the attention mechanism and adaptive modeling scheme, the video semantic modeling ability of our approach is further enhanced. Finally, we build a low-bitrate video understanding benchmark with three downstream tasks on eight datasets, demonstrating the notable superiority of our approach. All codes, data, and models will be available at \url{https://github.com/tianyuan168326/VCS-Pytorch}.

研究动机与目标

• 为解决标准视频压缩导致的视频理解性能下降问题，该问题因丢弃对语义关键的信息而引发。
• 设计一种视频编码框架，在不牺牲压缩效率的前提下，保留对下游任务至关重要的信息。
• 实现仅需一次训练即可部署于多种视频理解任务的框架。
• 构建一个全面的基准，用于评估在多样化数据集与不同压缩级别下的压缩视频理解性能。

提出的方法

• 提出双流架构：一种标准工业级视频比特流与一种用于提升下游任务性能的可学习分析比特流。
• 在神经边缘图上采用自监督对比学习作为与任务无关的代理优化目标，避免与下游模型联合训练。
• 设计一种自适应编码器网络（Enc-Net），包含动态卷积核与差异图路径，以减少冗余与比特成本。
• 使用注意力机制跳过已被视频流充分捕获的特征，提升压缩效率。
• 在解码器端采用接收网络（R-Net），通过自适应核索引机制高效重建分析比特流。
• 支持灵活扩展，可集成Transformer或超 prior 模型等先进组件，且可无需重新训练即升级至H.265。

实验结果

研究问题

• RQ1 可学习的分析比特流能否有效用于在压缩视频中保留对视频理解至关重要的语义信息？
• RQ2 在无法访问下游模型或标注数据的情况下，如何优化分析比特流？
• RQ3 自适应与动态网络架构在多大程度上可降低分析比特流的比特成本，同时保持性能？
• RQ4 UVC框架在不同视频理解任务与数据集、不同压缩级别下具有多大程度的泛化能力？

主要发现

• 当使用H.265作为视频编码器时，UVC在Top-1准确率上相比H.264基线提升14.47%，Top-5准确率提升8.72%，展现出显著的性能增益。
• 消融实验表明，若移除差异图路径，分析比特流的比特成本增加约35%，证实其在减少冗余中的关键作用。
• 将自适应卷积替换为固定或普通卷积会显著降低性能，证明Enc-Net中输入自适应核学习的价值。
• Enc-Net在边缘端的计算成本仅为Balle等人[95]的1/20，适用于资源受限设备的部署。
• 0比特模型变体在不增加边缘端计算开销的前提下实现更优性能，证明了该框架的高效性。
• 在所有七个大规模数据集与四种压缩级别下，UVC在动作识别、动作检测与多目标跟踪任务中均持续优于工业级编码器。