[论文解读] Knowledge Amalgamation from Heterogeneous Networks by Common Feature Learning

Sihui Luo, Xinchao Wang+4 more|arXiv (Cornell University)|Jun 24, 2019

Advanced Neural Network Applications参考文献 12被引用 6

一句话总结

本文提出了一种知识融合框架，通过将来自多个异构教师网络（各自具有不同架构且专注于不同任务）的特征投影到共享的公共空间中，训练一个单一的轻量化学生模型来整合这些知识。学生模型在无须访问人工标注数据的情况下，学习模仿教师的转换特征和软标签，其在各自任务上的性能优于单个教师模型。

ABSTRACT

An increasing number of well-trained deep networks have been released online by researchers and developers, enabling the community to reuse them in a plug-and-play way without accessing the training annotations. However, due to the large number of network variants, such public-available trained models are often of different architectures, each of which being tailored for a specific task or dataset. In this paper, we study a deep-model reusing task, where we are given as input pre-trained networks of heterogeneous architectures specializing in distinct tasks, as teacher models. We aim to learn a multitalented and light-weight student model that is able to grasp the integrated knowledge from all such heterogeneous-structure teachers, again without accessing any human annotation. To this end, we propose a common feature learning scheme, in which the features of all teachers are transformed into a common space and the student is enforced to imitate them all so as to amalgamate the intact knowledge. We test the proposed approach on a list of benchmarks and demonstrate that the learned student is able to achieve very promising performance, superior to those of the teachers in their specialized tasks.

研究动机与目标

• 开发一种从多个具有不同架构和专用任务的异构教师网络中进行知识蒸馏的方法。
• 实现在无须访问人工标注训练数据的情况下实现知识融合。
• 训练一个单一的轻量化学生模型，使其能够执行所有不同教师所处理的任务。
• 设计一个公共特征空间，以实现在异构架构之间的特征级模仿。
• 证明学生模型在各自专用任务上的性能可超越单个教师模型。

提出的方法

• 通过共享特征提取器学习一个共享特征空间，将每个异构教师的特征投影到一个公共嵌入空间中。
• 使用均方误差损失，让学生模型在公共空间中模仿所有教师的转换特征。
• 并行应用软标签蒸馏，使学生模型学习匹配教师的软预测结果。
• 使用最大均值差异（MMD）损失，对齐公共空间中转换后教师特征的分布。
• 通过结合特征模仿和软标签蒸馏目标，端到端训练学生模型。
• 消融研究通过使用自编码器作为替代方案，评估共享特征提取器和MMD损失的必要性。

实验结果

研究问题

• RQ1 一个单一的学生模型能否有效学习并整合来自多个具有不同架构的异构教师网络的知识？
• RQ2 在无须访问人工标注数据的情况下，如何将知识从异构教师模型迁移至学生模型？
• RQ3 在共享公共特征空间中学习是否能带来比直接蒸馏或特征匹配更优的知识融合效果？
• RQ4 学生模型能否在各自专用任务上超越单个教师模型的性能？
• RQ5 当在与教师模型训练数据不同的无标签数据上训练时，该知识融合框架的鲁棒性如何？

主要发现

• 在多个异构教师模型上进行训练的学生模型，在每个教师模型的专用任务上均取得了优于单个教师模型的性能。
• 在CUB200-2011和Stanford Dogs数据集上，学生模型分别比最佳教师模型高出1.3%和1.1%。
• 即使在与教师模型数据分布不同的困难无标签数据上进行训练，学生模型在CFP-FP数据集上仍达到86.36%的准确率，优于知识蒸馏（KD），展现出强大的鲁棒性。
• 消融研究证实，共享特征提取器和MMD损失均至关重要，当两者同时使用时性能最佳。
• 通过t-SNE可视化显示，学生模型的特征在公共空间中聚集于教师模型特征的中心区域，证实了有效知识整合。
• 学生模型在保持紧凑参数量的同时掌握了所有任务，展示了无需人工标注数据即可实现高效知识融合的能力。