[论文解读] Born Again Neural Networks

Tommaso Furlanello, Zachary C. Lipton+3 more|arXiv (Cornell University)|May 12, 2018

Adversarial Robustness in Machine Learning参考文献 46被引用 443

一句话总结

Born-Again Networks (BANs) 使用来自教师的、具有相同结构的学生模型进行训练，并持续超越教师，在 CIFAR-10/100 上取得强势结果，并扩展到使用 LSTM 的语言建模。

ABSTRACT

Knowledge Distillation (KD) consists of transferring “knowledge” from one machine learning model (the teacher) to another (the student). Commonly, the teacher is a high-capacity model with formidable performance, while the student is more compact. By transferring knowledge, one hopes to benefit from the student’s compactness, without sacrificing too much performance. We study KD from a new perspective: rather than compressing models, we train students parameterized identically to their teachers. Surprisingly, these Born-Again Networks (BANs), outperform their teachers significantly, both on computer vision and language modeling tasks. Our experiments with BANs based on DenseNets demonstrate state-of-the-art performance on the CIFAR-10 (3.5%) and CIFAR-100 (15.5%) datasets, by validation error. Additional experiments explore two distillation objectives: (i) Confidence-Weighted by Teacher Max (CWTM) and (ii) Dark Knowledge with Permuted Predictions (DKPP). Both methods elucidate the essential components of KD, demonstrating the effect of the teacher outputs on both predicted and non-predicted classes.

研究动机与目标

• 通过训练具有相同架构的学生模型来实现超越教师的知识蒸馏，重新点燃对知识蒸馏在模型压缩之外的研究动机。
• 展示 BANs 在不同架构（DenseNets、ResNets、LSTMs）上的视觉与语言任务。
• 分析知识蒸馏中暗知识与真实标签信号的作用。
• 探索 BANs 对深度/宽度变化以及跨架构迁移（DenseNet 教师到 ResNet 学生，反之亦然）的稳定性。

提出的方法

• 按常规方式在带标签数据上训练教师网络。
• 用不同的随机种子初始化新的学生网络，并采用结合标准标签损失与匹配教师输出分布的 KD 项（学生输出与教师输出之间的交叉熵）的损失进行训练。
• 对多代进行重复训练（教学自我序列）以形成 BANs，并可选地对多代进行集成（BANE）。
• 研究两种 KD 专用处理：教师最大值的置信度加权（CWTM）和带置换预测的暗知识（DKPP），以分离非 argmax 逻辑的作用。
• 将 KD 梯度分解为暗知识项与真实标签项，并将其重新解释为由教师信心决定的重要性加权。
• 将 BANs 应用于 DenseNets、ResNets、Wide-ResNets 与 LSTMs，在 CIFAR-10/100 与 Penn Tree Bank (PTB) 上评估跨架构与跨领域的有效性。
• 比较使用全 KD 的 BANs 与变体（CWTM、DKPP）的训练结果，以理解暗知识的贡献。

实验结果

研究问题

• RQ1 在与教师同一架构的学生网络经过 BAN 风格再训练后，是否能超越教师？
• RQ2 暗知识信号（及其变体 CWTM/DKPP）对 KD 的有效性有何影响？
• RQ3 BAN 是否在不同架构（DenseNet、ResNet）和领域（视觉、语言）上持续改进？
• RQ4 随着深度/宽度变化和跨架构迁移（DenseNet 教师到 ResNet 学生，反之），BAN 的性能如何扩展？

主要发现

• 在 CIFAR-10/100 和 PTB 上，使用相同架构训练的 BANs 在多种架构下持续超越教师。
• 在 CIFAR-100 上，BAN-DenseNet-90-60 达到 16.69% 的错误率（教师为 17.69%），并且进一步的 BAN 集成在没有 shake-shake 正则化的情况下达到最先进的非集成结果。
• 两种 KD 处理（CWTM 与 DKPP）显示非 argmax 逻辑对泛化有贡献，DKPP（置换的非 argmax 逻辑）仍然带来改进。
• BANs 能够跨架构族传递知识（如 DenseNet 教师到 ResNet 学生，反之），有时超过教师与基线架构。
• 自我教学序列在经过若干代后回报递减，但 2-3 代即可带来显著增益，BAN 的集成可超越单一最佳。
• 在 PTB 语言建模中，BAN 在使用教师监督加 KD（BAN+L）的训练下，显著降低 LSTM 和 CNN-LSTM 教师的困惑度。