[论文解读] Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN

Jingwen Ye, Yixin Ji+3 more|arXiv (Cornell University)|Mar 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用 6

一句话总结

该论文提出了一种无需真实训练数据或标注的、基于组堆叠双生成对抗网络（dual-GAN）的数据自由知识融合框架，用于训练多任务学生网络（TargetNet）。通过利用两个双生成器——一个用于合成图像，另一个用于生成标签向量——该方法在多标签分类基准上实现了具有竞争力的性能，即使在无真实数据访问的情况下，其表现甚至优于某些全监督方法。

ABSTRACT

Recent advances in deep learning have provided procedures for learning one network to amalgamate multiple streams of knowledge from the pre-trained Convolutional Neural Network (CNN) models, thus reduce the annotation cost. However, almost all existing methods demand massive training data, which may be unavailable due to privacy or transmission issues. In this paper, we propose a data-free knowledge amalgamate strategy to craft a well-behaved multi-task student network from multiple single/multi-task teachers. The main idea is to construct the group-stack generative adversarial networks (GANs) which have two dual generators. First one generator is trained to collect the knowledge by reconstructing the images approximating the original dataset utilized for pre-training the teachers. Then a dual generator is trained by taking the output from the former generator as input. Finally we treat the dual part generator as the target network and regroup it. As demonstrated on several benchmarks of multi-label classification, the proposed method without any training data achieves the surprisingly competitive results, even compared with some full-supervised methods.

研究动机与目标

• 解决在隐私或访问受限导致真实训练数据和标注不可用时，定制化多任务网络训练的挑战。
• 开发一种知识融合框架，实现从多个预训练教师网络进行知识蒸馏，且无需任何真实输入数据。
• 设计一种基于生成对抗网络的架构，以合成逼真的图像和可靠的中间特征，从而训练出紧凑且高性能的学生网络。
• 证明在多标签分类任务中，数据自由训练可实现与全监督方法相当的性能。

提出的方法

• 提出一种组堆叠双生成对抗网络架构，包含一个主生成器和一个双生成器，其中生成器用于合成图像，双生成器用于生成标签向量。
• 生成器通过对抗损失和特征重建损失的组合，训练以重建近似于教师网络预训练所用原始数据集的图像。
• 双生成器以生成的图像和教师网络的中间特征为条件，使其能够在无真实数据的情况下学习多任务预测。
• 引入离散损失（$\mathcal{L}_{\text{dis}}$）以提升生成预测的标签多样性，防止模式崩溃。
• 在训练完成后，从双生成器中提取最终的目标网络（TargetNet），确保其继承所有教师的知识。
• 该框架采用多流输入机制，并通过可学习的连接权重（$\lambda_{\text{in}}^1, \lambda_{\text{in}}^2$）控制生成器与双生成器之间的信息流，从而提升特征保真度。

实验结果

研究问题

• RQ1 在无法访问任何真实训练数据或标注的情况下，能否有效将多个预训练教师的知识融合到单个学生网络中？
• RQ2 如何设计一种生成模型，以合成逼真的图像和语义上有意义的中间特征，用于知识蒸馏？
• RQ3 在无数据环境下，哪些架构组件对于确保可靠的特征生成和多任务预测至关重要？
• RQ4 在无真实数据的情况下，引入离散损失如何影响生成标签分布的多样性和质量？
• RQ5 在多标签分类基准上，数据自由知识融合框架在多大程度上能实现与全监督训练相当的性能？

主要发现

• 在PASCAL VOC2007数据集上，所提的数据自由知识融合方法实现了73.6%的平均平均精度（mAP），优于相同数据自由设置下基线方法DAFL的54.9%。
• 在更复杂的MS-COCO数据集上，该方法实现了68.2%的整体F1分数，超过DAFL框架（36.6 F1），并接近全监督方法如RLSD+ft-RPN的性能。
• 消融实验表明，同时使用两条输入流（$\lambda_{\text{in}}^1 = 1, \lambda_{\text{in}}^2 = 1$）可获得最佳性能，mAP提升至73.6%，而单流配置下分别为70.2%和59.8%。
• 引入离散损失（$\mathcal{L}_{\text{dis}}$）使生成预测的标签分布更加均匀和多样化，提升了泛化能力并减少了模式崩溃。
• 可视化结果表明，尽管生成图像对人类观察者而言并非与真实数据完全无法区分，但对神经网络而言具有感知上的合理性，足以训练出高性能的学生模型。
• 该方法证明，即使在无真实数据的情况下，也能有效将多个教师的知识迁移至单个学生网络，实现在数据自由知识融合任务中的最先进性能。