[论文解读] Data-Free Learning of Student Networks

Hanting Chen, Yunhe Wang+7 more|arXiv (Cornell University)|Apr 2, 2019

Advanced Neural Network Applications参考文献 30被引用 6

一句话总结

本文提出了一种名为数据无关学习（DAFL）的新框架，该框架在无真实训练数据的情况下，通过生成对抗网络（GAN）从预训练教师网络中合成数据，训练紧凑的学生神经网络。教师网络作为固定的判别器，生成器则生成能最大化教师网络激活的合成图像，从而实现知识蒸馏，在CIFAR-10上达到92.22%的准确率，在CIFAR-100上达到74.47%，且仅使用生成数据。

ABSTRACT

Learning portable neural networks is very essential for computer vision for the purpose that pre-trained heavy deep models can be well applied on edge devices such as mobile phones and micro sensors. Most existing deep neural network compression and speed-up methods are very effective for training compact deep models, when we can directly access the training dataset. However, training data for the given deep network are often unavailable due to some practice problems (e.g. privacy, legal issue, and transmission), and the architecture of the given network are also unknown except some interfaces. To this end, we propose a novel framework for training efficient deep neural networks by exploiting generative adversarial networks (GANs). To be specific, the pre-trained teacher networks are regarded as a fixed discriminator and the generator is utilized for derivating training samples which can obtain the maximum response on the discriminator. Then, an efficient network with smaller model size and computational complexity is trained using the generated data and the teacher network, simultaneously. Efficient student networks learned using the proposed Data-Free Learning (DAFL) method achieve 92.22% and 74.47% accuracies using ResNet-18 without any training data on the CIFAR-10 and CIFAR-100 datasets, respectively. Meanwhile, our student network obtains an 80.56% accuracy on the CelebA benchmark.

研究动机与目标

• 为解决在隐私、法律或传输限制导致真实训练数据不可用时，训练紧凑高效神经网络的挑战。
• 在无法访问原始训练数据或预训练教师网络架构的情况下，实现知识蒸馏。
• 开发一种方法，从预训练模型的内部表征中合成逼真的训练数据，以训练更小、更便携的学生网络。
• 仅使用从教师网络特征响应生成的合成数据，在基准数据集上实现高准确率。

提出的方法

• 将预训练的教师网络视为固定的判别器，训练生成器网络以生成能最大化教师网络输出激活的合成图像。
• 通过对抗性训练过程，使生成器学习生成教师网络能自信分类的图像，从而模仿真实数据分布。
• 使用生成的合成图像和来自教师网络的知识蒸馏训练学生网络，损失函数基于软标签和中间特征。
• 采用改进的GAN设置，具体为一种替代的DCGAN架构，以生成与原始数据集输入分布匹配的高保真图像。
• 根据数据集调整超参数，如潜在向量维度和学习率，生成器端到端训练以近似原始数据流形。
• 该方法无需访问原始训练数据、模型架构或参数，仅需教师网络的输入/输出接口。

实验结果

研究问题

• RQ1 能否仅利用预训练教师网络的推理行为，无需任何真实训练数据，有效训练学生神经网络？
• RQ2 当仅能访问教师网络输出时，基于GAN的生成器在多大程度上能逼近原始数据分布？
• RQ3 结合合成数据的知识蒸馏在多大程度上能实现与使用真实数据训练相当的性能？
• RQ4 该方法在不同复杂度的数据集（如MNIST、CIFAR-10、CIFAR-100和CelebA）上的表现如何？

主要发现

• 所提出的DAFL方法仅使用从教师网络生成的合成数据，在CIFAR-10上实现了92.22%的top-1准确率，且未使用任何真实训练样本。
• 在CIFAR-100上，学生网络达到74.47%的准确率，显著优于依赖元数据或随机噪声的基线方法。
• 在CelebA数据集上，学生网络使用仅生成的图像实现了80.56%的准确率，接近教师网络的81.59%准确率。
• 当学生网络架构与教师网络相同时，DAFL在MNIST上实现了98.91%的准确率（LeNet-5）和98.39%的准确率（HintonNet），与教师性能非常接近。
• 该方法在不同数据集上泛化良好：在CIFAR-10和CIFAR-100上，使用与教师相同架构的学生网络分别达到93.21%和75.32%的准确率。
• 大量消融实验表明，使用真实数据、普通噪声或MNIST数据进行训练的结果显著劣于所提出的基于GAN的合成数据，证实了数据生成策略的有效性。