[论文解读] Lossy Compression for Lossless Prediction

Yann Dubois, Benjamin Bloem-Reddy+2 more|arXiv (Cornell University)|Jun 21, 2021

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出了一种新颖的有损压缩框架，仅保留对下游预测任务在数据增强（如旋转、裁剪）下保持不变的信息。通过形式化在所有此类任务中维持高性能所需的最小比特率，作者设计了受变分自编码器和对比自监督学习启发的无监督神经压缩器，在 ImageNet 上相比 JPEG 实现了超过 1000 倍的比特率降低，且下游分类准确率无任何下降。

ABSTRACT

Most data is automatically collected and only ever "seen" by algorithms. Yet, data compressors preserve perceptual fidelity rather than just the information needed by algorithms performing downstream tasks. In this paper, we characterize the bit-rate required to ensure high performance on all predictive tasks that are invariant under a set of transformations, such as data augmentations. Based on our theory, we design unsupervised objectives for training neural compressors. Using these objectives, we train a generic image compressor that achieves substantial rate savings (more than $1000 imes$ on ImageNet) compared to JPEG on 8 datasets, without decreasing downstream classification performance.

研究动机与目标

• 解决传统有损压缩器效率低下的问题，其优先考虑感知保真度而非算法实用性。
• 形式化在用户定义变换（如旋转、亮度调整）下所有下游任务保持不变时所需的最小比特率。
• 设计无监督神经压缩目标，以近似不变预测的理论最优比特率。
• 展示压缩器在无需微调的情况下，跨多种数据集实现零样本泛化。
• 在保留预测性能的同时实现显著的比特率节省，适用于图像分类和星系形态分析等任务。

提出的方法

• 将最坏情况下的不变任务定义为识别同一示例的不同变换版本，从而对所有此类任务所需的比特率进行上界约束。
• 将最优压缩比特率形式化为输入与最坏情况标签之间的互信息，在失真约束下最小化比特率。
• 设计两种无监督训练目标：一种基于变分自编码以重建标准示例，另一种将对比自监督学习（SSL）适配为学习不变表示。
• 使用 CLIP 或 ResNet 的编码器提取特征，然后训练神经压缩器（BINCE）以最小化比特率，同时保留用于不变任务的信息。
• 在不访问下游标签的情况下对数据应用压缩器，仅依赖不变性结构和对比目标。
• 使用兼顾压缩效率与预测效用的率失真目标，端到端训练压缩器。

实验结果

研究问题

• RQ1 在给定一组变换下，确保所有不变预测任务高性能所需的最小比特率是多少？
• RQ2 我们能否在不访问下游任务标签的情况下，设计出近似该最优比特率的无监督神经压缩器？
• RQ3 在未微调的情况下，于一个数据集上训练的压缩器在无关数据集上泛化的程度如何？
• RQ4 预训练的自监督模型（如 CLIP）在在多大程度上可被重用于通用的不变预测压缩器？
• RQ5 与最先进的感知压缩器（如 JPEG、WebP）相比，所提出的压缩器在多样化的真实世界数据集上的表现如何？

主要发现

• 在所有增强不变任务中实现高性能的理论最小比特率，恰好对应于压缩最坏情况标签（即识别变换示例）所需的比特率。
• 所提出的压缩器在 ImageNet 上相比 JPEG 实现了超过 1000 倍的比特率降低，且下游图像分类准确率无任何下降。
• 在 8 个多样化数据集上（包括包含非自然图像的 GalaxyZoo），压缩器实现了零样本泛化，在比特率上优于 JPEG 和 WebP，同时保持或提升了预测性能。
• 在 GalaxyZoo 上，基于 CLIP 的压缩器比特率为 0.33 Mb/img，而 WebP 为 0.48 Mb/img，且测试损失更低，泛化能力优于端到端微调的 BINCE。
• 使用对比自监督预训练（如 CLIP）可实现强大的零样本泛化，基于 CLIP 的压缩器在 GalaxyZoo 上显著优于端到端微调的 ResNet50。
• 线性与 MLP 分类器在压缩表示上的表现相似，表明信息易于解码，与对比 SSL 模型的特性一致。