[论文解读] Search for Better Students to Learn Distilled Knowledge

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Jan 30, 2020

Educational Assessment and Pedagogy参考文献 33被引用 13

一句话总结

该论文提出一种自动化的神经架构搜索方法，通过使用L1-正则化的次梯度剪枝教师网络拓扑，以寻找知识蒸馏中的最优学生网络。该方法选择稀疏子图，使学生与教师输出之间的KL散度最小化，在CIFAR-10和CIFAR-100上实现的泛化性能优于人工设计或当前最优的学生架构。

ABSTRACT

Knowledge Distillation, as a model compression technique, has received great attention. The knowledge of a well-performed teacher is distilled to a student with a small architecture. The architecture of the small student is often chosen to be similar to their teacher's, with fewer layers or fewer channels, or both. However, even with the same number of FLOPs or parameters, the students with different architecture can achieve different generalization ability. The configuration of a student architecture requires intensive network architecture engineering. In this work, instead of designing a good student architecture manually, we propose to search for the optimal student automatically. Based on L1-norm optimization, a subgraph from the teacher network topology graph is selected as a student, the goal of which is to minimize the KL-divergence between student's and teacher's outputs. We verify the proposal on CIFAR10 and CIFAR100 datasets. The empirical experiments show that the learned student architecture achieves better performance than ones specified manually. We also visualize and understand the architecture of the found student.

研究动机与目标

• 解决人工设计的学生架构在知识蒸馏中效率低下且性能次优的问题。
• 开发一种联合优化剪枝与蒸馏的自动化方法，以提升学生模型的性能。
• 识别一种比传统参数量缩减方法更能有效学习蒸馏知识的学生架构。
• 探究搜索过程是否编码了超越模型压缩本身的有用归纳偏置。

提出的方法

• 将学生架构搜索建模为教师拓扑图上的子图选择问题，其中每个通道为一个节点，连接为边。
• 为教师图中的每个节点引入可学习的门控变量（缩放因子），并通过L1-范数正则化以诱导稀疏性。
• 使用L1-正则化损失函数的近端梯度下降法优化架构，以最小化学生与教师输出之间的KL散度。
• 定义复合损失函数，结合KL散度、权重衰减（L2）以及门控变量的L1正则化，以平衡性能与稀疏性。
• 通过调节L1正则化强度（λ₂）控制学生模型的最终FLOPs，该参数决定收敛至目标模型尺寸的速度。
• 通过将门控值映射到通道移除率，可视化所发现的学生架构，揭示剪枝网络中的结构模式。

实验结果

研究问题

• RQ1 自动化架构搜索过程能否在知识蒸馏中找到优于人工架构缩减（如减少层数或通道数）的学生网络？
• RQ2 联合优化剪枝与蒸馏是否能带来优于先剪枝后蒸馏的序列方法的学生性能？
• RQ3 L1-正则化的子图选择策略如何影响学生模型的泛化能力？
• RQ4 所发现的学生架构中出现了哪些结构特征？这些特征是否与深度神经网络设计的已知原则一致？
• RQ5 所发现的学生架构即使在无知识蒸馏的情况下仍能表现良好，是否表明其编码了来自教师的内在知识？

主要发现

• 所提方法在CIFAR-10和CIFAR-100上实现了比相同FLOPs下人工设计的学生架构更高的测试准确率。
• 损失函数中的KL散度与最终测试误差之间存在强相关性（0.8896），验证了损失函数能有效定义‘良好’的学生架构。
• 搜索持续时间更长（λ₂更小）的学生模型取得更低的测试误差，表明延长优化可提升架构质量。
• 所发现的学生架构在深层保留了大部分通道，与深层网络需要更高表征能力的原理一致。
• 通过跳跃连接实现的特征复用在所发现架构中得以保留，与DenseNet中此类连接不那么关键的说法相矛盾。
• 即使在无蒸馏训练的情况下，从头训练的学生模型仍表现良好，表明搜索过程隐式地从教师网络中学习到了有用的归纳偏置。