[论文解读] Adversarial-Based Knowledge Distillation for Multi-Model Ensemble and Noisy Data Refinement

Zhiqiang Shen, Zhankui He+5 more|arXiv (Cornell University)|Aug 22, 2019

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 MEAL，一种基于对抗训练的知识蒸馏新框架，可在压缩多模型集成至单一学生网络的同时，优化噪声标签。通过利用来自多样化教师模型的软标签，并借助对抗训练将学生特征与教师分布对齐，MEAL 实现了最先进性能——在 ImageNet 上比原始 ResNet-50 的 top-1 错误率降低 2.06%，在 iMaterialist 上 top-3 准确率提升 1.15%，同时支持单次前向传播的快速推理。

ABSTRACT

Generic Image recognition is a fundamental and fairly important visual problem in computer vision. One of the major challenges of this task lies in the fact that single image usually has multiple objects inside while the labels are still one-hot, another one is noisy and sometimes missing labels when annotated by humans. In this paper, we focus on tackling these challenges accompanying with two different image recognition problems: multi-model ensemble and noisy data recognition with a unified framework. As is well-known, usually the best performing deep neural models are ensembles of multiple base-level networks, as it can mitigate the variation or noise containing in the dataset. Unfortunately, the space required to store these many networks, and the time required to execute them at runtime, prohibit their use in applications where test sets are large (e.g., ImageNet). In this paper, we present a method for compressing large, complex trained ensembles into a single network, where the knowledge from a variety of trained deep neural networks (DNNs) is distilled and transferred to a single DNN. In order to distill diverse knowledge from different trained (teacher) models, we propose to use adversarial-based learning strategy where we define a block-wise training loss to guide and optimize the predefined student network to recover the knowledge in teacher models, and to promote the discriminator network to distinguish teacher vs. student features simultaneously. Extensive experiments on CIFAR-10/100, SVHN, ImageNet and iMaterialist Challenge Dataset demonstrate the effectiveness of our MEAL method. On ImageNet, our ResNet-50 based MEAL achieves top-1/5 21.79%/5.99% val error, which outperforms the original model by 2.06%/1.14%. On iMaterialist Challenge Dataset, our MEAL obtains a remarkable improvement of top-3 1.15% (official evaluation metric) on a strong baseline model of ResNet-101.

研究动机与目标

• 解决多模型集成在实际应用中计算与内存开销高的问题。
• 在标注存在噪声或模糊的情况下，提升图像识别的鲁棒性与准确性。
• 将多样化预训练教师网络的知识压缩至单一高效的学生模型中。
• 利用多种架构生成的软标签分布，提供比单热标签更丰富的监督信号。
• 构建统一框架，增强模型泛化能力，并有效应对多目标与噪声标签挑战。

提出的方法

• 该方法使用学生网络模仿多个预训练教师模型的软标签输出，以多样化、信息丰富的分布替代单热标签。
• 引入分块对抗训练策略，判别器用于区分教师与学生网络的特征，以强制实现特征层面的对齐。
• 通过联合损失函数优化学生网络：结合软标签的知识蒸馏损失与判别器生成的对抗损失，以提升特征层面的泛化能力。
• 通过迭代微调策略，使用更新后的教师模型重新训练学生网络，逐步提升监督质量。
• 该框架支持端到端训练，兼容多种架构（如 ResNet、DenseNet、VGG），以生成多样化且信息丰富的监督信号。
• 该方法通过单次前向传播实现快速推理，无需测试时的集成推理。

实验结果

研究问题

• RQ1 对抗知识蒸馏能否在不损失性能的前提下，有效将多模型集成压缩为单一高效的学生网络？
• RQ2 来自多样化教师模型的软标签分布能否提升对噪声标签与多目标标注的鲁棒性？
• RQ3 教师与学生网络之间的对抗性特征匹配是否优于标准蒸馏，带来更好的泛化性能？
• RQ4 教师-学生对的迭代微调如何影响模型在噪声数据集上的准确率与鲁棒性？
• RQ5 不同架构提供的监督信号多样性在多大程度上提升了学生模型的性能？

主要发现

• 在 ImageNet 上，基于 ResNet-50 的 MEAL 达到 top-1 验证错误率为 21.79%，top-5 错误率为 5.99%，分别优于原始模型 2.06 和 1.14 个百分点。
• 在 iMaterialist Products 数据集上，MEAL 相较于强大的 ResNet-101 基线，将官方 top-3 错误率降低了 1.15%，证明其在复杂真实数据上的有效性。
• 结合数据增强（CutMix 与余弦退火学习率），MEAL 进一步将噪声 CIFAR-10 数据集的测试错误率降低至 6.89%，表明对过拟合具有强鲁棒性。
• 迭代微调逐步提升性能，首轮提升最大，证实了监督信号优化的有效性。
• 在 CIFAR-10 上，使用 4 个教师模型时性能达到最优，且在增加计算预算后，训练在约 500 个周期内完全收敛。
• 对 softmax 输出的可视化显示，较弱模型（如 SqueezeNet、VGG）产生的标签分布比强模型（如 ResNet、DenseNet）更具多样性，验证了监督信号的多样性。