[论文解读] DisWOT: Student Architecture Search for Distillation WithOut Training

Peijie Dong, Lujun Li+1 more|arXiv (Cornell University)|Mar 28, 2023

Advanced Neural Network Applications被引用 5

一句话总结

DisWOT 提出了一种无需训练的神经架构搜索框架，通过测量随机初始化的教师网络与学生网络之间的语义相似性和关系相似性，来选择最适合知识蒸馏的最优学生模型。通过利用基于梯度的激活图和特征相关性矩阵，该方法在标准训练的180倍以上速度下实现了最先进的蒸馏性能，优于现有的零样本NAS方法。

ABSTRACT

Knowledge distillation (KD) is an effective training strategy to improve the lightweight student models under the guidance of cumbersome teachers. However, the large architecture difference across the teacher-student pairs limits the distillation gains. In contrast to previous adaptive distillation methods to reduce the teacher-student gap, we explore a novel training-free framework to search for the best student architectures for a given teacher. Our work first empirically show that the optimal model under vanilla training cannot be the winner in distillation. Secondly, we find that the similarity of feature semantics and sample relations between random-initialized teacher-student networks have good correlations with final distillation performances. Thus, we efficiently measure similarity matrixs conditioned on the semantic activation maps to select the optimal student via an evolutionary algorithm without any training. In this way, our student architecture search for Distillation WithOut Training (DisWOT) significantly improves the performance of the model in the distillation stage with at least 180$ imes$ training acceleration. Additionally, we extend similarity metrics in DisWOT as new distillers and KD-based zero-proxies. Our experiments on CIFAR, ImageNet and NAS-Bench-201 demonstrate that our technique achieves state-of-the-art results on different search spaces. Our project and code are available at https://lilujunai.github.io/DisWOT-CVPR2023/.

研究动机与目标

• 为解决教师与学生模型之间架构不匹配导致的知识蒸馏性能差距。
• 在无需任何训练的情况下识别能最大化蒸馏性能的学生架构，克服基于原始训练的搜索方法的局限性。
• 开发与最终蒸馏准确率强相关的零样本度量，以实现高效的架构搜索。
• 通过增强教师与学生网络之间的语义和关系对齐，提升蒸馏性能。
• 为蒸馏任务提供一种可扩展的、无需训练的NAS方法替代方案，将搜索成本降低超过180倍。

提出的方法

• 通过单次前向和反向传播计算的Grad-CAM激活图的通道级相似性，度量教师与学生网络之间的语义相似性。
• 通过比较全局平均池化前的特征激活所得到的归一化样本-关系相关性矩阵之间的L2距离，计算关系相似性。
• 采用进化算法，利用语义和关系相似性度量作为适应度分数，搜索最优学生架构。
• 使用随机初始化的网络（高斯初始化和He初始化）计算度量，无需任何微调或训练。
• 在预定义的ResNet类架构搜索空间中应用度量，该空间包含可变深度、宽度和卷积核大小的架构，约束条件为通道数能被8整除且最大不超过2048通道。
• 在突变后通过结构检查验证架构候选，以确保其符合搜索约束。

实验结果

研究问题

• RQ1 基于特征语义和样本关系的无训练度量，是否能比原始准确率或现有零样本代理度量更准确地预测蒸馏性能？
• RQ2 为何一个独立（原始）准确率更高的模型在知识蒸馏中表现更差？其架构因素如何解释这一差距？
• RQ3 随机初始化的教师与学生网络之间的语义和关系相似性，能否作为蒸馏性能的可靠代理？
• RQ4 无训练架构搜索框架在降低搜索成本的同时，能在多大程度上提升蒸馏准确率？
• RQ5 在语义和关系相似性引导下，不同的架构配置（深度、宽度、卷积核大小）如何影响蒸馏性能？

主要发现

• 在原始训练下表现最优的学生架构，并不必然带来最佳的蒸馏性能，表明独立准确率与蒸馏准确率之间存在脱节。
• 原始准确率与最终蒸馏性能的相关性仅为85%，凸显了对更优搜索代理的迫切需求。
• ResNet[3,3,3] 的独立准确率高于 ResNet[7,1,3]，但后者在蒸馏中表现更优，原因在于其更优的感受野和知识匹配能力。
• 在搜索空间 $S_0$ 上，语义和关系相似性度量与蒸馏准确率的相关性排名高于现有零样本NAS方法。
• DisWOT 在CIFAR、ImageNet 和 NAS-Bench-201 上均实现了最先进的蒸馏性能，且搜索速度比标准训练快至少180倍。
• 所提出的度量可作为有效的蒸馏器和零样本代理，实现无需任何训练的高准确率学生模型选择。