[论文解读] Diving deeper into mentee networks

Ragav Venkatesan, Baoxin Li|arXiv (Cornell University)|Apr 27, 2016

Advanced Neural Network Applications参考文献 5被引用 14

一句话总结

本文提出了一种新颖的导师学习框架，其中较小、较浅的‘学徒’网络通过模仿来自更大、预训练的‘导师’网络在多个层上的激活模式，从零开始进行训练。通过应用逐层差异性损失，学徒网络在小样本数据集和高学习率下实现了更优的泛化性能和稳定的训练过程，优于标准正则化方法和独立训练的网络。

ABSTRACT

Modern computer vision is all about the possession of powerful image representations. Deeper and deeper convolutional neural networks have been built using larger and larger datasets and are made publicly available. A large swath of computer vision scientists use these pre-trained networks with varying degrees of successes in various tasks. Even though there is tremendous success in copying these networks, the representational space is not learnt from the target dataset in a traditional manner. One of the reasons for opting to use a pre-trained network over a network learnt from scratch is that small datasets provide less supervision and require meticulous regularization, smaller and careful tweaking of learning rates to even achieve stable learning without weight explosion. It is often the case that large deep networks are not portable, which necessitates the ability to learn mid-sized networks from scratch. In this article, we dive deeper into training these mid-sized networks on small datasets from scratch by drawing additional supervision from a large pre-trained network. Such learning also provides better generalization accuracies than networks trained with common regularization techniques such as l2, l1 and dropouts. We show that features learnt thus, are more general than those learnt independently. We studied various characteristics of such networks and found some interesting behaviors.

研究动机与目标

• 为解决在小样本数据集上从零开始训练中等规模深度网络的挑战，其中标准正则化方法因监督不足而失效。
• 通过利用大型预训练网络的多层监督，提升小样本场景下的泛化能力和训练稳定性。
• 探究在多个网络深度上进行导师指导是否能带来优于单层蒸馏或传统正则化的特征表示。
• 评估通过此多层导师指导方案训练的学徒网络的可迁移性及其在无监督学习中的潜力。

提出的方法

• 学徒网络使用组合损失进行训练：在最终层使用标准交叉熵损失，同时在中间层引入学徒网络与预训练导师网络对应激活之间的差异性损失。
• 在多个深度（例如，第一卷积层、第二隐藏层）应用逐层蒸馏，导师网络的激活作为学徒网络特征图的监督信号。
• 该方法引入了三种学徒网络的个性类型：‘易受骗型’、‘顺从型’和‘固执型’，用于控制导师对学徒学习动态的影响强度。
• 该方法即使在小批量和高学习率下也能实现稳定训练，降低权重爆炸的风险。
• 探索了无监督导师指导，通过在无真实标签的情况下应用相同的蒸馏损失，仅使用导师网络在无标签数据上的特征图。
• 在CIFAR-10、CIFAR-100、MNIST和Caltech101/256数据集上评估该框架，以衡量性能、泛化能力以及特征可迁移性。

实验结果

研究问题

• RQ1 从预训练的导师网络进行多层蒸馏是否能显著提升从零开始训练的小型网络的泛化性能？
• RQ2 与单层蒸馏或标准正则化相比，多层导师指导在训练稳定性与收敛速度方面表现如何？
• RQ3 学徒网络在极小数据集上训练或在无监督设置下训练时，能在多大程度上学习到通用且可迁移的特征？
• RQ4 在导师监督下，不同个性的学徒网络（易受骗型、顺从型、固执型）在训练过程中表现出何种独特行为？

主要发现

• 在CIFAR-100上，采用多层导师指导训练的学徒网络相比独立训练的基线模型取得了显著的准确率提升，尤其在数据有限时更为明显。
• 即使使用相同的训练迭代次数和学习率，学徒网络在泛化性能上也优于标准正则化技术（如L2、L1和Dropout）。
• 在CIFAR-10上仅使用40,000张训练图像时，导师指导带来的增益微乎其微，表明当数据足够充分时，导师指导的优势会减弱。
• 在Caltech101/256数据集上，学徒网络的表现优于独立基线模型，尤其是在仅微调分类头时，证明了所学特征的通用性。
• 仅经过一个训练周期，易受骗型学徒网络的第一层滤波器就与VGG-19导师网络高度匹配，从初始随机状态的RMSE由6.54降至0.0023。
• 即使是最具抵抗性的‘固执型’学徒网络，仍学习到了与VGG-19相似的角点检测特征，表明通用特征在不同数据集间具有高度可迁移性。