[论文解读] Amalgamating Knowledge towards Comprehensive Classification

Chengchao Shen, Xinchao Wang+3 more|arXiv (Cornell University)|Nov 7, 2018

Domain Adaptation and Few-Shot Learning参考文献 22被引用 15

一句话总结

本文提出知识融合（knowledge amalgamation），一种新颖的模型复用任务，通过蒸馏多个专业化教师模型的知识，训练轻量级学生网络以实现全面分类。采用两步法——特征融合后接逐层参数学习——学生模型在子任务上的表现优于单个教师模型，甚至无需人工标注。

ABSTRACT

With the rapid development of deep learning, there have been an unprecedentedly large number of trained deep network models available online. Reusing such trained models can significantly reduce the cost of training the new models from scratch, if not infeasible at all as the annotations used for the training original networks are often unavailable to public. We propose in this paper to study a new model-reusing task, which we term as \emph{knowledge amalgamation}. Given multiple trained teacher networks, each of which specializes in a different classification problem, the goal of knowledge amalgamation is to learn a lightweight student model capable of handling the comprehensive classification. We assume no other annotations except the outputs from the teacher models are available, and thus focus on extracting and amalgamating knowledge from the multiple teachers. To this end, we propose a pilot two-step strategy to tackle the knowledge amalgamation task, by learning first the compact feature representations from teachers and then the network parameters in a layer-wise manner so as to build the student model. We apply this approach to four public datasets and obtain very encouraging results: even without any human annotation, the obtained student model is competent to handle the comprehensive classification task and in most cases outperforms the teachers in individual sub-tasks.

研究动机与目标

• 为解决复用多个预训练、专业化的深度学习模型以完成更广泛、统一分类任务的挑战。
• 在无法访问原始训练标注的情况下实现模型复用，仅依赖教师网络的输出。
• 开发一个轻量级学生模型，以在教师模型覆盖的所有任务上执行全面分类。
• 探究来自多样化、专业化教师模型的知识是否能有效融合，从而在各自子任务上超越单个教师模型的表现。

提出的方法

• 首先，为同一输入样本从多个教师网络中提取并堆叠特征表示。
• 通过多层感知机（MLP）应用特征融合，将堆叠的特征压缩并优化为紧凑且具有判别力的表示。
• 使用融合后的特征作为监督信号，逐层训练学生网络的参数。
• 实施逐层参数学习以稳定训练过程并减少层间误差累积。
• 将联合参数学习作为基线，以对比评估逐层策略的有效性。
• 引入特征适配模块（FAM），将融合后的特征转换为与学生网络中非参数层兼容的形式。

实验结果

研究问题

• RQ1 单个轻量级学生模型能否通过蒸馏来自多个专业化教师模型的知识，有效学习全面分类？
• RQ2 从多个异构教师模型中进行知识融合，是否能在各自子任务上实现优于单个教师模型的性能？
• RQ3 所提出的两步策略——特征融合后接逐层参数学习——在训练鲁棒学生模型方面的有效性如何？
• RQ4 特征适配模块（FAM）在提升特征兼容性与模型性能方面的作用有多大？
• RQ5 在收敛速度与最终准确率方面，联合参数学习是否优于逐层学习？

主要发现

• 在所有四个数据集上，通过知识融合训练的学生模型在各自子任务上的表现均优于单个教师模型。
• 在Stanford Dogs数据集上，学生模型利用三个教师的知识实现了69.9%的准确率，超越了该子任务上表现最好的教师模型。
• 当使用四个教师时，学生模型在Stanford Dogs数据集上的准确率达到70.3%，表明其具备良好的可扩展性与性能提升能力。
• 消融实验表明，关闭特征适配模块（FAM）后，Stanford Dogs数据集上的准确率降至25.3%；而启用FAM后，准确率提升至45.3%，充分证明了其有效性。
• 与从零开始的联合学习相比，逐层参数学习显著降低了测试误差，采用所提策略后，300个周期时测试误差已降至60%以下。
• 在所有数据集上，联合参数学习的表现优于逐层学习，验证了联合优化能有效缓解逐层训练中的误差累积问题。