[论文解读] Momentum Adversarial Distillation: Handling Large Distribution Shifts in Data-Free Knowledge Distillation

Kien Do, Hung Lê+6 more|arXiv (Cornell University)|Sep 21, 2022

COVID-19 diagnosis using AI被引用 18

一句话总结

本文提出动量对抗蒸馏（Momentum Adversarial Distillation, MAD），通过维持生成器的指数移动平均（EMA）副本，缓解数据无关知识蒸馏中的大分布偏移问题，从而稳定知识迁移。通过在当前生成器和 EMA 生成器生成的合成数据上联合训练学生模型，MAD 有效缓解了灾难性遗忘，在 ImageNet 和 Places365 等基准测试中达到最先进性能。

ABSTRACT

Data-free Knowledge Distillation (DFKD) has attracted attention recently thanks to its appealing capability of transferring knowledge from a teacher network to a student network without using training data. The main idea is to use a generator to synthesize data for training the student. As the generator gets updated, the distribution of synthetic data will change. Such distribution shift could be large if the generator and the student are trained adversarially, causing the student to forget the knowledge it acquired at previous steps. To alleviate this problem, we propose a simple yet effective method called Momentum Adversarial Distillation (MAD) which maintains an exponential moving average (EMA) copy of the generator and uses synthetic samples from both the generator and the EMA generator to train the student. Since the EMA generator can be considered as an ensemble of the generator's old versions and often undergoes a smaller change in updates compared to the generator, training on its synthetic samples can help the student recall the past knowledge and prevent the student from adapting too quickly to new updates of the generator. Our experiments on six benchmark datasets including big datasets like ImageNet and Places365 demonstrate the superior performance of MAD over competing methods for handling the large distribution shift problem. Our method also compares favorably to existing DFKD methods and even achieves state-of-the-art results in some cases.

研究动机与目标

• 为解决对抗性数据无关知识蒸馏（DFKD）中因生成器快速更新导致的学生模型遗忘问题，尤其是在存在大分布偏移的情况下。
• 在无原始训练数据访问条件下，提升 DFKD 中知识迁移的稳定性和性能，尤其在 ImageNet 等大规模数据集上。
• 通过利用历史生成器状态，在与生成器联合训练过程中减少学生模型的灾难性遗忘。
• 通过引入一种新型损失函数，使基于类别条件生成器的 DFKD 在大规模数据集上实现高效训练。

提出的方法

• 维护生成器的指数移动平均（EMA）副本，以保留历史知识并减少分布偏移。
• 使用联合损失函数，在主生成器和 EMA 生成器生成的合成数据上联合训练学生网络。
• 采用类别条件生成器，输入为噪声向量和类别嵌入，提升大规模数据集上的样本质量。
• 为生成器引入一种新型损失函数，以抑制虚假解，提升合成数据质量。
• 通过学生损失中可学习的系数，控制 EMA 生成数据与主生成器生成数据的相对贡献。
• 采用基于动量的 EMA 更新策略，使用衰减超参数 α，以平衡 EMA 生成器的稳定性与适应性。

实验结果

研究问题

• RQ1 维持生成器的 EMA 副本是否能有效缓解在大分布偏移下数据无关知识蒸馏中的灾难性遗忘？
• RQ2 与仅使用当前生成器相比，同时使用当前生成器和 EMA 生成器生成的合成数据，对学生性能有何影响？
• RQ3 结合新型损失函数的类别条件生成器是否能在 ImageNet 等大规模数据集上实现有效的 DFKD？
• RQ4 学生训练目标中，当前生成器数据与 EMA 生成器数据的最优平衡比是多少？
• RQ5 MAD 是否在数据无关知识蒸馏中优于现有最先进方法，尤其在具有挑战性的基准测试中？

主要发现

• MAD 在多个基准测试中达到最先进性能，包括 ImageNet 和 Places365，优于现有数据无关知识蒸馏方法。
• 在 CIFAR100 上，当 λ₀ = λ₁ = 1.0（最优系数设置）时，MAD 达到 64.05% 的测试准确率；若任一系数降低至零，性能均显著下降。
• 动量超参数 α 具有显著影响：性能在 α = 0.99 时达到峰值，而在 α = 1.0 时急剧下降，表明生成器更新过慢会损害学习效果。
• 增加学生模型的更新步数可提升性能，证实更多训练步数有助于学生与教师模型的知识对齐。
• 结合新型损失函数的类别条件生成器可在大规模数据集上实现稳定训练，而无条件生成器常因虚假样本而失败。
• MAD 通过 EMA 生成器使学生能够回忆过去知识，从而减少灾难性遗忘，而 EMA 生成器受快速分布偏移的影响较小。