[论文解读] Computationally-Efficient Neural Image Compression with Shallow Decoders

Yibo Yang, Stephan Mandt|arXiv (Cornell University)|Apr 13, 2023

Cell Image Analysis Techniques被引用 4

一句话总结

本文提出了一种计算效率高的神经图像压缩方法，采用受JPEG启发的浅层或线性合成（解码）变换，在解码时每像素FLOPs低于50K，实现了SOTA的率失真性能——相比标准基线方法，解码复杂度降低超过80%，通过利用强大的迭代编码和强先验实现。

ABSTRACT

Neural image compression methods have seen increasingly strong performance in recent years. However, they suffer orders of magnitude higher computational complexity compared to traditional codecs, which hinders their real-world deployment. This paper takes a step forward towards closing this gap in decoding complexity by using a shallow or even linear decoding transform resembling that of JPEG. To compensate for the resulting drop in compression performance, we exploit the often asymmetrical computation budget between encoding and decoding, by adopting more powerful encoder networks and iterative encoding. We theoretically formalize the intuition behind, and our experimental results establish a new frontier in the trade-off between rate-distortion and decoding complexity for neural image compression. Specifically, we achieve rate-distortion performance competitive with the established mean-scale hyperprior architecture of Minnen et al. (2018) at less than 50K decoding FLOPs/pixel, reducing the baseline's overall decoding complexity by 80%, or over 90% for the synthesis transform alone. Our code can be found at https://github.com/mandt-lab/shallow-ntc.

研究动机与目标

• 解决神经图像压缩中高解码复杂度的问题，尽管其率失真性能强大，但高复杂度阻碍了实际部署。
• 降低现有方法中占解码复杂度80%以上的合成（解码）变换的计算负担。
• 探索使用轻量级、线性或浅层解码变换的可行性，类似JPEG等经典编解码器，同时保持高压缩质量。
• 通过利用编码与解码之间计算预算的不对称性，使用强大编码器来补偿简单解码器。
• 在神经图像压缩中建立率失真性能与解码复杂度之间权衡的新前沿。

提出的方法

• 用浅层或线性变换替代标准神经图像压缩中的深层卷积合成变换，模仿JPEG的结构。
• 以Minnen等人（2018）提出的Mean-Scale Hyperprior架构为基础模型，保留先验但简化合成路径。
• 通过随机Gumbel退火（SGA）进行迭代推理，以改进离散潜在表示，从而提升率失真性能。
• 在合成路径中引入单个隐藏层，以恢复因使用浅层或线性变换而损失的表达能力。
• 在渐近设定下形式化率失真代价，从理论上证明使用强大编码器与轻量级解码器的合理性。
• 以每像素FLOPs和KMACs（千次乘加操作）衡量解码复杂度，实现与经典编解码器的直接比较。

实验结果

研究问题

• RQ1 浅层或线性合成变换能否在神经图像压缩中实现与深层神经解码器相当的率失真性能？
• RQ2 强大的编码方法（如迭代推理）在在多大程度上可以补偿解码复杂度的降低？
• RQ3 由合成变换诱导的潜在流形的曲率与线性特性如何影响压缩性能？
• RQ4 在神经有损压缩中，编码复杂度、解码复杂度与率失真代价之间的理论关系是什么？
• RQ5 当与先进编码策略结合时，类似JPEG的合成变换是否能超越更深的架构？

主要发现

• 所提方法在解码时每像素FLOPs低于50K，实现与已建立的Mean-Scale Hyperprior架构相当的率失真性能，解码基线复杂度降低超过80%。
• 仅合成变换的复杂度降低了超过90%，证明了接近经典复杂度解码的可行性。
• 尽管合成变换结构简单，但通过使用迭代编码和强大先验，该方法仍保持了强劲的率失真性能。
• 发现由合成变换诱导的潜在流形相对平坦，并保留了线性组合特性，表明在此设置下非线性并非实现高率失真性能的必要条件。
• 理论分析证实，增加编码复杂度可减小推理差距并改善率失真代价，从而为使用强大编码器与轻量级解码器提供理论依据。
• 熵解码现占总解码计算的50%–80%，表明计算瓶颈已发生转移，为新的优化机会打开了空间。