[论文解读] Enlarging Context with Low Cost: Efficient Arithmetic Coding with Trimmed Convolution

Mu Li, Shuhang Gu+2 more|arXiv (Cornell University)|Jan 15, 2018

Video Coding and Compression Technologies被引用 4

一句话总结

本文提出剪枝卷积算术编码（TCAE），一种在图像压缩中实现高效算术编码的高效率方法，通过剪枝卷积建模大上下文并共享计算，实现实时编码。此外，还引入了斜率TCAE以实现并行解码，实现超过60倍的加速，且压缩率损失可忽略不计。

ABSTRACT

Arithmetic coding is an essential class of coding techniques. One key issue of arithmetic encoding method is to predict the probability of the current coding symbol from its context, i.e., the preceding encoded symbols, which usually can be executed by building a look-up table (LUT). However, the complexity of LUT increases exponentially with the length of context. Thus, such solutions are limited to modeling large context, which inevitably restricts the compression performance. Several recent deep neural network-based solutions have been developed to account for large context, but are still costly in computation. The inefficiency of the existing methods are mainly attributed to that probability prediction is performed independently for the neighboring symbols, which actually can be efficiently conducted by shared computation. To this end, we propose a trimmed convolutional network for arithmetic encoding (TCAE) to model large context while maintaining computational efficiency. As for trimmed convolution, the convolutional kernels are specially trimmed to respect the compression order and context dependency of the input symbols. Benefited from trimmed convolution, the probability prediction of all symbols can be efficiently performed in one single forward pass via a fully convolutional network. Furthermore, to speed up the decoding process, a slope TCAE model is presented to divide the codes from a 3D code map into several blocks and remove the dependency between the codes inner one block for parallel decoding, which can 60x speed up the decoding process. Experiments show that our TCAE and slope TCAE attain better compression ratio in lossless gray image compression, and can be adopted in CNN-based lossy image compression to achieve state-of-the-art rate-distortion performance with real-time encoding speed.

研究动机与目标

• 解决传统基于查找表（LUT）的算术编码在建模大上下文时计算效率低下的问题。
• 克服基于深度学习的熵编码中序列化概率预测的局限性，该局限性阻碍了实时性能。
• 通过尊重编码顺序和上下文依赖关系，实现在单次前向传播中对所有符号进行高效、全卷积的概率预测。
• 通过将3D码图重新组织为独立块以实现并行处理，加速解码过程。
• 将所提方法集成到基于CNN的有损图像压缩流水线中，以在实现实时编码速度的同时提升率失真性能。

提出的方法

• 引入剪枝卷积操作，在概率预测期间通过二值掩码排除未编码符号的上下文，以保持编码顺序约束。
• 设计一种全卷积网络架构，通过共享相邻符号之间的计算，在一次前向传播中联合预测所有符号的概率。
• 不仅将剪枝卷积应用于输入层，也应用于隐藏特征图，其中上下文信息已编码，因此可安全包含。
• 提出一种斜率TCAE调度策略，基于坐标和（i+j+k=t）将3D码图划分为块，确保每一块内部相互独立。
• 通过消除块间依赖关系，实现并行解码，允许同时处理码块，同时保持正确的解码顺序。
• 采用3D码图表示，其中每个点(i,j,k)对应一个二进制码，并将码块定义为具有相同i+j+k值的点集。

实验结果

研究问题

• RQ1 具有剪枝卷积的全卷积网络能否在保持计算效率的同时，高效建模算术编码的大上下文？
• RQ2 与对每个符号独立预测相比，剪枝卷积在概率预测效率方面有何提升？
• RQ3 通过块划分实现的并行解码在多大程度上能加速解码过程而不损失压缩率？
• RQ4 所提出的TCAE和斜率TCAE方法能否有效集成到基于CNN的有损图像压缩系统中以提升率失真性能？
• RQ5 与标准TCAE和先前熵编码方法相比，使用斜率TCAE在压缩效率与解码速度之间存在何种权衡？

主要发现

• 与Li等人[4]中的卷积熵编码器相比，TCAE在编码速度上实现了7–20倍的加速，对于752×496×3的图像，编码时间低至0.166秒。
• 斜率TCAE将94×68×64码图的解码时间缩短至0.62秒，相比TCAE实现超过60倍的加速，相比基线编码器实现25倍加速。
• 在无损灰度图像压缩中，TCAE和斜率TCAE在压缩率方面优于PNG和JPEG2000-LS，尤其在高比特率下表现更优。
• 当集成到基于CNN的有损压缩（如[4]）中时，TCAE在所有测试比特率（bpp ≥ 0.4）下均提升了率失真性能，优于竞争方法。
• 斜率TCAE模型仅导致压缩率出现微小下降（实验中可忽略不计），同时实现了巨大的解码加速，验证了码块内部独立性的假设。
• 该方法实现了接近实时的编码速度（例如，25 fps），适用于标准图像尺寸的实际实时系统部署。