[论文解读] Integer Discrete Flows and Lossless Compression

Emiel Hoogeboom, Jorn W. T. Peters+2 more|arXiv (Cornell University)|May 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 10

一句话总结

本文提出了整数离散流（IDF），一种用于有序离散数据的归一化流模型，可在无需去量化误差的情况下实现精确似然优化和当前最先进的无损压缩。通过设计一种可学习的双射整数变换层——整数离散耦合层，IDF 在 CIFAR10、ImageNet32 和 ImageNet64 上实现了具有竞争力的生成建模性能和更优的压缩率，标志着首次将可逆神经网络应用于无损压缩。

ABSTRACT

Lossless compression methods shorten the expected representation size of data without loss of information, using a statistical model. Flow-based models are attractive in this setting because they admit exact likelihood optimization, which is equivalent to minimizing the expected number of bits per message. However, conventional flows assume continuous data, which may lead to reconstruction errors when quantized for compression. For that reason, we introduce a flow-based generative model for ordinal discrete data called Integer Discrete Flow (IDF): a bijective integer map that can learn rich transformations on high-dimensional data. As building blocks for IDFs, we introduce a flexible transformation layer called integer discrete coupling. Our experiments show that IDFs are competitive with other flow-based generative models. Furthermore, we demonstrate that IDF based compression achieves state-of-the-art lossless compression rates on CIFAR10, ImageNet32, and ImageNet64. To the best of our knowledge, this is the first lossless compression method that uses invertible neural networks.

研究动机与目标

• 解决连续流模型在应用于图像等离散数据时因去量化误差导致的无损压缩局限性。
• 开发一种可学习的双射变换，用于离散数据，保持精确可逆性并支持精确似然计算。
• 在无需量化重建误差的情况下，利用归一化流实现高维结构化数据的压缩。
• 证明基于 IDF 的压缩在标准图像基准测试中优于现有方法，并支持渐进式解码。
• 建立一种使用可逆神经网络进行无损压缩的新范式，此前该领域尚未被探索。

提出的方法

• 提出整数离散流（IDF），一种双射整数映射，可将离散数据转换到具有可处理先验分布的潜在空间。
• 引入整数离散耦合层作为灵活且可学习的变换模块，实现对离散数据的高效可逆映射。
• 使用基于输入子集的可学习缩放与偏移网络，对剩余维度进行变换，确保双射性与可处理的雅可比行列式。
• 应用变量变换公式计算精确对数似然，支持最大似然训练以实现压缩。
• 将 IDF 集成到压缩管道中，对潜在表示使用熵编码，并通过分层先验结构支持渐进式解码。
• 通过最小化负对数似然端到端训练模型，仅在推理阶段应用四舍五入以获得离散输出。

实验结果

研究问题

• RQ1 可逆神经网络能否被有效适配到图像等有序离散数据上，用于无损压缩？
• RQ2 所提出的整数离散耦合层是否能在保持可处理似然计算的同时，实现对离散数据的高效双射变换？
• RQ3 基于 IDF 的压缩能否在 CIFAR10、ImageNet32 和 ImageNet64 等标准图像压缩基准上实现最先进性能？
• RQ4 IDF 框架是否支持渐进式解码，即使在仅使用 15% 的比特流时也能保持全局图像结构？
• RQ5 当适配到离散数据时，IDF 在生成建模性能上与现有基于连续流的模型相比如何？

主要发现

• IDF 在 CIFAR10 上实现了最先进的无损压缩性能，比特率低至 3.32 bpd，优于 Flow++ 和 Glow 等先前方法。
• 在 ImageNet32 上，IDF 实现了 4.15 bpd 的比特率，展现出强大的可扩展性与在更大数据集上的泛化能力。
• 在 ImageNet64 上，IDF 实现了 3.90 bpd 的比特率，尽管数据复杂度更高，仍表现出具有竞争力的性能。
• 在 ER+BCa 组织学数据集上，基于 IDF 的压缩实现 2.42 bpd 的比特率，优于 JPEG2000（4.26 bpd）和 JP2-WSI（3.04 bpd），且在基于图像块的设置下表现更优。
• 使用 IDF 的渐进式解码即使在仅使用 15% 比特流时也能保持全局图像结构，支持高保真度的早期可视化。
• IDF 展现出具有竞争力的生成建模性能，在 CIFAR10 上为 3.32 bpd，在 ImageNet32 上为 4.15 bpd，尽管架构简洁，仍接近或匹配连续流基线模型。