[论文解读] iFlow: Numerically Invertible Flows for Efficient Lossless Compression via a Uniform Coder

Shifeng Zhang, Ning Kang+2 more|arXiv (Cornell University)|Nov 1, 2021

Algorithms and Data Compression被引用 12

一句话总结

iFlow 通过引入用于离散空间双射的模块化尺度变换（MST）和用于快速熵编码的统一基转换系统（UBCS），提出了一种数值可逆的归一化流，实现了高效的无损压缩。其编码速度比次优方法 LBB 快 5 倍，同时达到最先进的压缩比，并保持接近理论最小码长。

ABSTRACT

It was estimated that the world produced $59 ZB$ ($5.9 imes 10^{13} GB$) of data in 2020, resulting in the enormous costs of both data storage and transmission. Fortunately, recent advances in deep generative models have spearheaded a new class of so-called "neural compression" algorithms, which significantly outperform traditional codecs in terms of compression ratio. Unfortunately, the application of neural compression garners little commercial interest due to its limited bandwidth; therefore, developing highly efficient frameworks is of critical practical importance. In this paper, we discuss lossless compression using normalizing flows which have demonstrated a great capacity for achieving high compression ratios. As such, we introduce iFlow, a new method for achieving efficient lossless compression. We first propose Modular Scale Transform (MST) and a novel family of numerically invertible flow transformations based on MST. Then we introduce the Uniform Base Conversion System (UBCS), a fast uniform-distribution codec incorporated into iFlow, enabling efficient compression. iFlow achieves state-of-the-art compression ratios and is $5 imes$ quicker than other high-performance schemes. Furthermore, the techniques presented in this paper can be used to accelerate coding time for a broad class of flow-based algorithms.

研究动机与目标

• 为解决神经压缩中，尤其是基于流的模型存在的编码速度慢这一实际瓶颈。
• 实现高保真度的概率密度估计，利用离散空间双射保持可逆性，避免离散化带来的信息损失。
• 开发一种与离散流兼容的快速、动态熵编码器，以支持实时压缩。
• 弥合神经压缩中高比率压缩与实际部署速度之间的差距。
• 实现在包括高分辨率图像在内的多样化图像数据集上的高效、可扩展无损压缩。

提出的方法

• 提出模块化尺度变换（MST），一种源自连续流的灵活离散空间双射家族，支持数值可逆变换。
• 提出统一基转换系统（UBCS），一种动态熵编码器，每符号仅使用两种操作即可实现常数时间运算，支持快速压缩。
• 将 MST 与 UBCS 结合，构建完全可逆、端到端的压缩流水线，确保输入数据与潜在变量之间存在精确双射关系。
• 采用基于流的架构，由多层 MST 组成，潜在变量通过可学习的体积保持双射进行变换。
• 使用负对数似然作为训练目标，在保持精确可逆性的同时最小化重建误差。
• 利用 bits-back 编码框架对数值误差进行无损编码，使连续流可应用于离散压缩。

实验结果

研究问题

• RQ1 我们能否设计一种基于流的压缩模型，在保持高比率压缩的同时，显著提升编码速度，超越现有神经编解码器？
• RQ2 如何在归一化流中确保离散输入数据与潜在变量之间实现精确可逆性，同时避免引入表示约束？
• RQ3 能否设计一种高效的动态熵编码器，使其与离散流协同工作，显著降低编码时间而不牺牲压缩效率？
• RQ4 所提方法在包括高分辨率图像和真实世界基准在内的多样化图像数据集上，其泛化能力如何？
• RQ5 MST 与 UBCS 的组合在压缩比和速度方面，相较于 LBB 和 iVPF 等现有方法表现如何？

主要发现

• iFlow 在所有测试数据集上均实现了最先进的压缩比，包括 CIFAR-10、ImageNet32 和 ImageNet64。
• 该方法的编码速度比次优方案 LBB 快 5 倍，同时保持了更优的压缩效率。
• iFlow 的码长极接近理论最小值，表明其压缩性能接近最优。
• 该模型在高分辨率图像上泛化良好，在压缩非重叠 32×32 和 64×64 图像块时优于所有基线模型。
• UBCS 实现了每符号仅需两次操作的动态熵编码，其速度显著优于 ANS 和 AC，同时保持了压缩保真度。
• 该方法展现出强大的泛化能力，在使用 ImageNet32 预训练模型压缩 ImageNet64 时，性能优于所有其他方法。