[论文解读] MEAL: Multi-Model Ensemble via Adversarial Learning

Zhiqiang Shen, Zhankui He+1 more|arXiv (Cornell University)|Dec 6, 2018

Advanced Neural Network Applications参考文献 38被引用 14

一句话总结

MEAL 提出了一种知识蒸馏框架，通过对抗性学习将多个预训练深度神经网络压缩为单个学生网络。通过利用软标签和判别器，使学生特征与多种教师模型对齐，MEAL 在 ImageNet 上实现了 SOTA 准确率（top-1 错误率 21.79%），同时保持单模型推理速度，并优于原始模型和传统集成模型。

ABSTRACT

Often the best performing deep neural models are ensembles of multiple base-level networks. Unfortunately, the space required to store these many networks, and the time required to execute them at test-time, prohibits their use in applications where test sets are large (e.g., ImageNet). In this paper, we present a method for compressing large, complex trained ensembles into a single network, where knowledge from a variety of trained deep neural networks (DNNs) is distilled and transferred to a single DNN. In order to distill diverse knowledge from different trained (teacher) models, we propose to use adversarial-based learning strategy where we define a block-wise training loss to guide and optimize the predefined student network to recover the knowledge in teacher models, and to promote the discriminator network to distinguish teacher vs. student features simultaneously. The proposed ensemble method (MEAL) of transferring distilled knowledge with adversarial learning exhibits three important advantages: (1) the student network that learns the distilled knowledge with discriminators is optimized better than the original model; (2) fast inference is realized by a single forward pass, while the performance is even better than traditional ensembles from multi-original models; (3) the student network can learn the distilled knowledge from a teacher model that has arbitrary structures. Extensive experiments on CIFAR-10/100, SVHN and ImageNet datasets demonstrate the effectiveness of our MEAL method. On ImageNet, our ResNet-50 based MEAL achieves top-1/5 21.79%/5.99% val error, which outperforms the original model by 2.06%/1.14%. Code and models are available at: https://github.com/AaronHeee/MEAL

研究动机与目标

• 解决传统深度神经网络集成带来的高推理成本和存储需求问题。
• 将多个多样化、预训练的教师网络的知识压缩到一个高效的学生网络中。
• 通过利用不同架构产生的多样化软标签分布，提升学生模型的泛化能力和鲁棒性。
• 实现在单次前向传播中完成高性能推理，避免多模型集成带来的计算开销。
• 证明对抗性特征匹配可使知识蒸馏效果超越标准软标签迁移。

提出的方法

• 使用从多个预训练教师网络中提取的软标签来训练学生网络，这些软标签提供了比 one-hot 标签更丰富、更多样化的监督信号。
• 引入逐块对抗性训练损失，利用判别器区分真实（教师）特征与生成（学生）特征，以对齐学生与教师的特征表示。
• 对抗性损失促使学生生成的特征图与教师模型难以区分，从而促进更优的知识迁移。
• 该方法端到端可微，联合优化知识蒸馏与对抗性特征对齐。
• 该框架与网络架构无关，可将任意结构的教师网络知识蒸馏到单一学生模型中。
• 训练使用标准交叉熵损失（结合软标签）与额外的对抗性损失，以优化特征级别的对齐。

实验结果

研究问题

• RQ1 单个学生网络是否能在保持单次推理成本的前提下，实现与多模型集成相当或更优的性能？
• RQ2 学生与教师网络之间的对抗性特征匹配是否能提升知识蒸馏效果，超越标准软标签蒸馏？
• RQ3 不同教师架构之间软标签分布的多样性如何影响蒸馏后学生模型的性能？
• RQ4 所提出的方法是否能在多种网络架构和数据集（包括 ImageNet 等大规模基准）上实现良好泛化？
• RQ5 为在最小冗余下最大化性能，最优的训练预算与集成规模是多少？

主要发现

• 在 ImageNet 上，基于 ResNet-50 的 MEAL 实现了 21.79% 的 top-1 验证错误率与 5.99% 的 top-5 错误率，优于原始 ResNet-50（23.85%/7.13%）和传统集成（22.76%/6.49%）。
• 在 CIFAR-10 上，MEAL 将 shake-shake 基线的测试错误率从 2.86% 降低至 2.54%，相对提升 11.2%。
• 即使学生网络与原始模型架构相同，经过 MEAL 训练的学生网络泛化能力也更强，这归因于对抗性特征对齐。
• 该方法在推理阶段保持单次前向传播，因此 FLOPs 和推理时间与教师模型数量无关。
• 不同教师架构（如 VGG-19 与 ResNet-50）之间软标签分布的多样性，定量上高于强模型之间的差异，这支持了多教师蒸馏的有效性。
• t-SNE 可视化结果表明，经 MEAL 训练的学生网络学习到了更具判别性且更清晰分离的特征嵌入，优于标准训练基线。