[论文解读] Efficient Trimmed Convolutional Arithmetic Encoding for Lossless Image Compression.

Mu Li, Shuhang Gu+2 more|arXiv (Cornell University)|Jan 15, 2018

Advanced Data Compression Techniques参考文献 16被引用 6

一句话总结

本文提出了一种计算效率更高的无损图像压缩方法——裁剪卷积算术编码（TCAE），该方法利用专门设计的裁剪卷积神经网络，在单次前向传播中对大范围上下文进行建模。通过尊重压缩顺序和上下文依赖关系，TCAE在无损和有损压缩设置下均实现了更优的压缩率和实时性能，优于以往基于CNN和RNN的方法。

ABSTRACT

Arithmetic encoding is an essential class of coding techniques which have been widely used in various data compression systems and exhibited promising performance. One key issue of arithmetic encoding method is to predict the probability of the current symbol to be encoded from its context, i.e., the preceding encoded symbols, which usually can be executed by building a look-up table (LUT). However, the complexity of LUT increases exponentially with the length of context. Thus, such solutions are limited in modeling large context, which inevitably restricts the compression performance. Several recent convolutional neural network (CNN) and recurrent neural network (RNN)-based solutions have been developed to account for large context, but are still costly in computation. The inefficiency of the existing methods are mainly attributed to that probability prediction is performed independently for the neighboring symbols, which actually can be efficiently conducted by shared computation. To this end, we propose a trimmed convolutional network for arithmetic encoding (TCAE) to model large context while maintaining computational efficiency. As for trimmed convolution, the convolutional kernels are specially trimmed to respect the compression order and context dependency of the input symbols. Benefited from trimmed convolution, the probability prediction of all symbols can be efficiently performed in one single forward pass via a fully convolutional network. Experiments show that our TCAE attains better compression ratio in lossless gray image compression, and can be adopted in CNN-based lossy image compression to achieve state-of-the-art rate-distortion performance with real-time encoding speed.

研究动机与目标

• 解决传统算术编码方法依赖大型查找表（LUT）进行上下文建模所导致的计算效率低下问题。
• 克服LUT在建模大范围上下文时的指数级复杂度，从而限制压缩性能的问题。
• 降低深度学习方法在算术编码中进行概率预测的计算成本，这些方法通常独立处理每个符号。
• 通过重新组织卷积操作以尊重压缩顺序，实现在相邻符号之间的高效共享计算。
• 在提出的架构下，实现有损图像压缩中最先进的率失真性能，并达到实时编码速度。

提出的方法

• 引入一种裁剪卷积神经网络，通过修改标准卷积核，使其尊重输入符号的序列化压缩顺序和上下文依赖关系。
• 设计网络结构，使所有符号的概率预测通过全卷积架构在单次前向传播中完成。
• 应用上下文感知的核剪枝技术，消除冗余计算，确保仅相关的历史符号参与当前的概率估计。
• 采用全卷积结构，以在图像中保持概率预测过程中的空间和序列一致性。
• 将TCAE模块集成到无损和基于CNN的有损图像压缩流水线中，以评估端到端性能。
• 利用相邻符号之间的共享计算，与独立预测方法相比，显著降低计算开销。

实验结果

研究问题

• RQ1 能否构建一种卷积神经网络，使其在算术编码中高效建模大范围上下文，同时避免高昂的计算成本？
• RQ2 与标准或非结构化卷积相比，裁剪卷积在算术编码中如何提升概率预测的效率？
• RQ3 TCAE在保持实时编码速度的前提下，能在多大程度上提升无损图像压缩的压缩率？
• RQ4 TCAE能否有效集成到现有的基于CNN的有损压缩框架中，以提升率失真性能？
• RQ5 TCAE中的共享计算机制在速度和压缩效率方面是否优于独立符号预测方法？

主要发现

• 与现有基于CNN和RNN的方法相比，TCAE在无损灰度图像压缩中实现了更优的压缩率。
• 该方法实现了实时编码速度，适用于实际压缩系统中的部署。
• 当集成到基于CNN的有损图像压缩框架中时，TCAE在率失真性能方面优于以往的深度学习方法。
• 裁剪卷积机制通过消除冗余操作，有效降低了计算复杂度，同时保持了上下文建模的准确性。
• 对所有符号进行单次前向传播推理，相比独立处理符号的方法，实现了显著的速度提升。
• 该架构在无损和有损压缩任务中均表现出强大的泛化能力，表明其具备良好的鲁棒性和可扩展性。