[论文解读] Dataset Condensation with Latent Space Knowledge Factorization and Sharing

Haebeom Lee, Dong Bok Lee+1 more|arXiv (Cornell University)|Aug 21, 2022

Algorithms and Data Compression被引用 9

一句话总结

本文提出知识分解与共享（KFS），一种新颖的数据集压缩方法，将合成数据生成过程分解为可学习的潜在编码与共享的轻量化解码器，从而在极低参数开销下生成大量合成样本。KFS在SVHN、CIFAR10、CIFAR100和TinyImageNet上均达到最先进性能，尤其在参数预算极低时表现优异，通过解耦的潜在空间与解码器组件系统性地实现跨样本的知识共享。

ABSTRACT

In this paper, we introduce a novel approach for systematically solving dataset condensation problem in an efficient manner by exploiting the regularity in a given dataset. Instead of condensing the dataset directly in the original input space, we assume a generative process of the dataset with a set of learnable codes defined in a compact latent space followed by a set of tiny decoders which maps them differently to the original input space. By combining different codes and decoders interchangeably, we can dramatically increase the number of synthetic examples with essentially the same parameter count, because the latent space is much lower dimensional and since we can assume as many decoders as necessary to capture different styles represented in the dataset with negligible cost. Such knowledge factorization allows efficient sharing of information between synthetic examples in a systematic way, providing far better trade-off between compression ratio and quality of the generated examples. We experimentally show that our method achieves new state-of-the-art records by significant margins on various benchmark datasets such as SVHN, CIFAR10, CIFAR100, and TinyImageNet.

研究动机与目标

• 解决现有数据集压缩方法直接在输入空间优化合成样本所导致的效率低下问题，避免参数-样本比差和知识共享有限。
• 通过将合成样本建模为从紧凑潜在空间和共享解码器生成的过程，利用数据内在规律。
• 通过共享潜在编码与解码器实现高效的跨样本知识共享，从而改善压缩率与合成数据质量之间的权衡。
• 克服先前方法因采样导致梯度方差与偏差过高的局限，尤其在低参数预算下表现更优。
• 展示合成数据在不同网络架构与训练预算下的鲁棒性与泛化能力。

提出的方法

• 该方法将合成数据生成建模为两阶段过程：低维空间中的可学习潜在编码，以及一组微型共享解码器，用于将潜在编码映射到输入空间。
• 潜在编码与解码器的不同组合可生成大量多样化的合成样本，显著提升有效样本数量，而无需增加参数量。
• 知识被系统性地共享：同一组解码器可应用于任意潜在编码，实现样本间高效的信息传递。
• 采用分布匹配进行训练，避免昂贵的二阶梯度计算，并预计算并重用中间特征以提升训练效率。
• 通过在真实与合成数据集上均使用全批量训练，避免采样导致的梯度偏差，确保更高的多样性与质量。
• 该方法端到端可训练，潜在编码与解码器联合优化，以最小化真实数据与合成数据之间的分布差异。

实验结果

研究问题

• RQ1 我们能否通过潜在空间分解显式建模底层数据生成过程，从而提升数据集压缩效率？
• RQ2 通过共享解码器与共享潜在空间在合成样本间共享知识，是否能实现优于直接在输入空间优化的压缩-质量权衡？
• RQ3 在极低参数预算（如每类仅1张图像）下，所提方法相较于最先进基线的表现如何？
• RQ4 所提方法生成的合成样本在不同神经网络架构上的泛化能力有多强？
• RQ5 该方法在评估时是否能在不同训练预算下保持高性能，且不出现过拟合？

主要发现

• KFS在SVHN、CIFAR10、CIFAR100和TinyImageNet上均达到新的最先进性能，当每类仅使用1张图像时，相比之前SOTA方法（IDC）分别实现14.8%和9.8%的准确率提升。
• 在每类仅1张图像的设置下，由于其因子化与共享的知识结构，KFS生成的合成样本多样性显著高于基线，即使参数量相同。
• KFS展现出卓越的跨架构泛化能力：在SVHN上每类1张图像时，ResNet-10准确率下降仅7.2%，DenseNet-121下降仅1.9%，而IDC分别下降28.5%与28.2%。
• KFS在所有评估训练预算（从100到20,000步）下均保持强劲性能，且未出现过拟合，而基线方法则存在此问题。
• 定性分析表明，改变潜在编码可捕捉多模态特征（如SVHN中不同数字风格），而改变解码器则影响背景与风格，证明了有效知识共享。
• 通过采用分布匹配与预计算特征，该方法实现高训练效率，避免了梯度匹配带来的计算开销。