[论文解读] Block-optimized Variable Bit Rate Neural Image Compression

Çağlar Aytekin, Xingyang Ni+4 more|arXiv (Cornell University)|May 28, 2018

Advanced Data Compression Techniques被引用 5

一句话总结

该论文提出了一种基于块优化的可变比特率神经图像压缩系统，采用端到端学习的自编码器，结合多网络结构、熵友好型损失函数以及推理阶段的代码优化。该系统在测试集上实现了 27.92 的 PSNR（比特率为 0.148 bpp），优于 BPG 和 JPEG，同时通过微调编码器和 L2 归一化解码器实现了每一块的自适应比特率。

ABSTRACT

In this work, we propose an end-to-end block-based auto-encoder system for image compression. We introduce novel contributions to neural-network based image compression, mainly in achieving binarization simulation, variable bit rates with multiple networks, entropy-friendly representations, inference-stage code optimization and performance-improving normalization layers in the auto-encoder. We evaluate and show the incremental performance increase of each of our contributions.

研究动机与目标

• 开发一种端到端、基于块的神经图像压缩系统，支持可变比特率，且不依赖传统编码器。
• 通过新型架构组件（如 L2 归一化和熵友好型损失）提升压缩效率和重建质量。
• 通过多个专用网络和推理阶段的代码优化，实现在每张图像块上的自适应比特率编码。
• 通过引入保持区间特性的二值化噪声和交替训练，解决神经压缩中量化操作不可微的问题。
• 通过专家网络微调和去块化后处理提升整体性能。

提出的方法

• 系统采用全卷积自编码器，包含五个下采样卷积块，以及一个 1x1 的 Sigmoid 激活最终层，用于生成每一块固定维度的块码。
• 解码器从一个 L2 归一化层开始，以提升训练稳定性和表示紧凑性，随后是五个带 PReLU 激活的转置卷积块。
• 使用多个具有不同码长（编码维度）的网络，以实现可变比特率编码，选择满足每一块目标 PSNR 的最低码率网络。
• 在推理阶段，通过微调所选网络的编码器（保持解码器权重冻结）对每一块进行逐块代码优化。
• 采用带正则化项（λ=0.001）的熵友好型损失，以鼓励可压缩的码表示，提升熵编码效率。
• 在解码后应用类似 U-Net 的去块化滤波器，以抑制块效应并提升视觉质量。

实验结果

研究问题

• RQ1 解码器中的 L2 归一化在神经图像压缩的训练和推理性能方面有何改善作用？
• RQ2 保持区间的二值化噪声在训练中对量化近似程度的提升有多大？
• RQ3 在基于块的系统中，使用不同码长的多个网络能否实现有效的可变比特率编码？
• RQ4 在推理阶段对每一块进行代码优化，对最终 PSNR 和比特率的影响如何？
• RQ5 熵友好型损失、专家微调和去块化处理的综合效应如何影响整体压缩性能？

主要发现

• 完整模型在验证集上达到 27.055 的 PSNR（比特率为 0.151 bpp），在逐步应用所有组件后提升至 28.929 的 PSNR。
• 熵友好型损失将比特率从 0.216 bpp 降低至 0.151 bpp，尽管 PSNR 略有下降，但实现了显著的压缩增益。
• L2 归一化在参数减少 20 个（216 vs 236 编码维度）的前提下实现了与非归一化模型相当的性能，提升了训练速度并减小了模型尺寸。
• 逐块代码优化使 PSNR 从 28.088 提升至 28.929，最终在测试集上实现 0.148 bpp 下 27.920 的 PSNR，优于 BPG（0.148 bpp 下 29.587 PSNR）在感知质量和效率方面的表现。
• 去块化后处理使无该处理的模型提升 0.296 dB 的 PSNR，显著改善了视觉质量。
• 最终模型在测试集上实现 0.148 bpp 下 27.920 的 PSNR，优于 JPEG（0.149 bpp 下 25.612 PSNR），在比特率上与 BPG 相当，但质量更优。