[论文解读] HAKD: Hardware Aware Knowledge Distillation.

Jack Turner, Elliot J. Crowley+4 more|arXiv (Cornell University)|Oct 24, 2018

Advanced Neural Network Applications参考文献 17被引用 2

一句话总结

HAKD 提出了一种硬件感知的知识蒸馏方法，通过结合通道显著性度量与实际运行时测量，为残差网络和密集连接网络发现高效的教师模型。通过在多种硬件上同时优化准确率和延迟，HAKD 在相同推理时间下相比通道剪枝模型实现了高达10%的 ImageNet top-1 准确率提升。

ABSTRACT

The task of accelerating large neural networks on general purpose hardware has, in recent years, prompted the use of channel pruning to reduce network size. However, the efficacy of pruning based approaches has since been called into question. In this paper, we turn to distillation for model compression---specifically, attention transfer---and develop a simple method for discovering performance enhanced student networks. We combine channel saliency metrics with empirical observations of runtime performance to design more accurate networks for a given latency budget. We apply our methodology to residual and densely-connected networks, and show that we are able to find resource-efficient student networks on different hardware platforms while maintaining very high accuracy. These performance-enhanced student networks achieve up to 10% boosts in top-1 ImageNet accuracy over their channel-pruned counterparts for the same inference time.

研究动机与目标

• 为解决通道剪枝在通用硬件上加速大型神经网络时的局限性。
• 通过知识蒸馏中的注意力迁移而非剪枝来改进模型压缩。
• 发现资源高效的教师模型，在严格延迟约束下保持高准确率。
• 开发一种通过结合显著性度量与实际运行时数据，适应不同硬件平台的方法。

提出的方法

• 该方法使用通道显著性度量识别教师网络中对知识蒸馏重要的通道。
• 通过在目标硬件上进行实际运行时测量，指导高效教师架构的搜索。
• 在蒸馏过程中联合优化模型准确率与推理延迟。
• 教师模型通过注意力蒸馏训练，将知识从教师的中间特征中迁移。
• 该框架被应用于残差网络和密集连接网络架构。
• 最终的教师模型根据在特定硬件平台上的预定义延迟预算内的性能进行选择。

实验结果

研究问题

• RQ1 知识蒸馏能否在通用硬件上实现比通道剪枝更高的准确率与更低的延迟？
• RQ2 如何将硬件特定的运行时特性整合到蒸馏过程中以提升效率？
• RQ3 与基于剪枝的方法相比，注意力迁移在保持固定推理延迟下，能在多大程度上提升准确率？
• RQ4 统一框架能否在多种硬件平台上发现高效的教师模型？

主要发现

• HAKD 发现的教师模型在相同推理时间下，相比通道剪枝模型，ImageNet top-1 准确率最高提升10%。
• 该方法在相同延迟约束下，成功提升了残差网络和密集连接网络架构的准确率。
• 硬件感知的运行时测量显著优化了蒸馏模型的准确率-效率权衡。
• 该方法在不同硬件平台上具有泛化能力，表现出一致的性能提升。
• 注意力蒸馏结合显著性引导的通道选择，相比仅剪枝，能生成更准确且高效的教师模型。
• 实际运行时数据使模型设计与实际硬件性能更好地对齐，提升了真实场景下的推理效率。