[论文解读] DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression

Yi Ma, Yongqi Zhai+1 more|arXiv (Cornell University)|Jan 4, 2022

Advanced Data Compression Techniques被引用 7

一句话总结

DeepFGS 提出首个通过特征分离主干网络和信息重排策略实现连续比特流可伸缩性的学习型细粒度可伸缩图像压缩模型，支持单次编码与解码，具有优越的率失真性能，在所有测试比特率下，PSNR 和 MS-SSIM 均优于传统及学习型可伸缩编码器。

ABSTRACT

Scalable coding, which can adapt to channel bandwidth variation, performs well in today's complex network environment. However, the existing scalable compression methods face two challenges: reduced compression performance and insufficient scalability. In this paper, we propose the first learned fine-grained scalable image compression model (DeepFGS) to overcome the above two shortcomings. Specifically, we introduce a feature separation backbone to divide the image information into basic and scalable features, then redistribute the features channel by channel through an information rearrangement strategy. In this way, we can generate a continuously scalable bitstream via one-pass encoding. In addition, we reuse the decoder to reduce the parameters and computational complexity of DeepFGS. Experiments demonstrate that our DeepFGS outperforms all learning-based scalable image compression models and conventional scalable image codecs in PSNR and MS-SSIM metrics. To the best of our knowledge, our DeepFGS is the first exploration of learned fine-grained scalable coding, which achieves the finest scalability compared with learning-based methods.

研究动机与目标

• 解决现有可伸缩图像压缩方法存在的压缩性能下降与可伸缩粒度粗糙的问题。
• 开发一种学习型图像压缩模型，实现单次编码即可完成细粒度、连续可伸缩性。
• 通过在任意点截断比特流，实现在任何比特率下高质量的图像重建。
• 通过重用解码器并利用互信息建模改进熵估计，降低模型复杂度。

提出的方法

• 引入一种特征分离主干网络，将图像特征划分为基础特征（l_b）与可伸缩特征（l_s）分量，以最小化像素级与特征级的冗余。
• 采用信息重排策略，逐通道重组 l_s 特征，建立前向依赖关系，使每次额外解码一个通道即可实现质量的渐进提升。
• 使用基于互信息感知的熵模型，通过建模 l_b 与 l_s 之间的依赖关系，改进概率估计，降低熵估计误差。
• 重用解码器网络以减少参数量与计算复杂度，提升效率而不损失性能。
• 支持单次编码，生成覆盖完整比特率范围的连续可伸缩比特流。

实验结果

研究问题

• RQ1 学习型图像压缩模型能否在保持或提升率失真性能的同时，实现细粒度、连续可伸缩性？
• RQ2 如何最小化基础与可伸缩特征分量之间的特征冗余，以提升压缩效率？
• RQ3 信息重排策略能否在无需多次编码的情况下，通过逐通道解码实现渐进质量增益？
• RQ4 特征分量之间的互信息建模在多大程度上可提升熵估计与整体压缩性能？

主要发现

• DeepFGS 在所有学习型与传统可伸缩图像编码器中实现了最高的 PSNR 与 MS-SSIM 性能，在所有测试比特率下均超越 BPG 与 VVC。
• 该模型实现了近乎连续的可伸缩性，仅通过一个比特流即可在数十个不同的质量级别上解码出高质量图像。
• 消融实验表明，所有提出的模块——特征级冗余消除、特征融合与互熵建模——均对性能有显著贡献，其中 MEM 在高比特率下更有效，FFM 在低比特率下更优。
• 视觉结果表明，即使在较低比特率下，DeepFGS 也能比先前方法更好地保留纹理与轮廓（如人脸与织物）的结构细节。
• 与模拟多层编码方法相比，该模型通过消除层间冗余，展现出在需要多个质量层级时的卓越效率。