[论文解读] CBANet: Towards Complexity and Bitrate Adaptive Deep Image Compression using a Single Network

Jinyang Guo, Dong Xu+1 more|arXiv (Cornell University)|May 26, 2021

Advanced Data Compression Techniques参考文献 35被引用 6

一句话总结

本文提出CBANet，一种单一深度神经网络，可在不同比特率和计算复杂度下实现自适应图像压缩。通过集成多分支复杂度自适应模块与比特率自适应投影模块，CBANet在无需微调的情况下支持可变比特率解码与动态复杂度约束，且在不增加存储成本的前提下，相比先前方法最高可提升0.13 dB的PSNR。

ABSTRACT

In this paper, we propose a new deep image compression framework called Complexity and Bitrate Adaptive Network (CBANet), which aims to learn one single network to support variable bitrate coding under different computational complexity constraints. In contrast to the existing state-of-the-art learning based image compression frameworks that only consider the rate-distortion trade-off without introducing any constraint related to the computational complexity, our CBANet considers the trade-off between the rate and distortion under dynamic computational complexity constraints. Specifically, to decode the images with one single decoder under various computational complexity constraints, we propose a new multi-branch complexity adaptive module, in which each branch only takes a small portion of the computational budget of the decoder. The reconstructed images with different visual qualities can be readily generated by using different numbers of branches. Furthermore, to achieve variable bitrate decoding with one single decoder, we propose a bitrate adaptive module to project the representation from a base bitrate to the expected representation at a target bitrate for transmission. Then it will project the transmitted representation at the target bitrate back to that at the base bitrate for the decoding process. The proposed bit adaptive module can significantly reduce the storage requirement for deployment platforms. As a result, our CBANet enables one single codec to support multiple bitrate decoding under various computational complexity constraints. Comprehensive experiments on two benchmark datasets demonstrate the effectiveness of our CBANet for deep image compression.

研究动机与目标

• 为解决在计算预算和带宽约束各异的多样化平台中部署学习型图像编码器的挑战。
• 通过单一模型支持多种比特率与计算复杂度级别，消除对多个解码器的需求。
• 通过避免为不同比特率与复杂度级别存储多个模型，降低实际部署中的存储开销。
• 在单一统一的网络架构中实现率失真复杂度的联合优化。

提出的方法

• 提出多分支复杂度自适应模块（CAM），其中每个分支仅贡献一小部分计算预算，通过激活不同数量的分支实现可变视觉质量。
• 采用比特率自适应模块（BAM），利用小型卷积神经网络在基础比特率与目标比特率之间投影表示，以支持传输与解码。
• 在解码过程中，将目标比特率下的表示投影回基础比特率，从而使用单一解码器实现跨比特率的一致重建。
• 在训练过程中采用率失真复杂度联合优化，以平衡率、失真与计算成本。
• 仅训练一次基础模型，并通过BAM复用该模型以支持新比特率，仅需极少的额外训练。
• 将BAM应用于跨比特率的表示迁移，且无需修改主解码器架构。

实验结果

研究问题

• RQ1 单一深度神经网络能否在动态计算复杂度约束下支持可变比特率图像压缩？
• RQ2 单一解码器如何在不重新训练或存储多个模型的情况下处理多种比特率？
• RQ3 在统一框架中，率、失真与计算复杂度之间的性能权衡如何？
• RQ4 能否使用轻量化模块在比特率间投影表示，同时对质量与存储影响极小？

主要发现

• CBANet-AR-100% 在最高计算复杂度级别下相比基线方法[3]实现0.13 dB的PSNR提升。
• CBANet-AR-50% 在计算成本降低的情况下相比基线方法实现0.10 dB的PSNR增益。
• 比特率自适应模块（BAM）仅占总FLOPs的0.42%，表明计算开销极低。
• CBANet-HP-25% 的性能与从零开始训练相当，但训练迭代次数仅为十分之一（300,000 vs. 3,000,000）。
• BAM实现了可变比特率支持，且存储成本可忽略，因为仅需存储一个基础模型。
• 在Kodak与CLIC数据集上的实验表明，CBANet在不同比特率与复杂度级别下均保持一致的性能增益。