[论文解读] Knowledge Flow: Improve Upon Your Teachers

Iou Jen Liu, Jian Peng+1 more|arXiv (Cornell University)|Apr 11, 2019

Neural Networks and Applications被引用 19

一句话总结

Knowledge Flow 提出了一种方法，可将来自多个多样化深度神经网络（教师模型）的知识迁移至单一学生网络，无论其架构或任务差异如何。通过利用侧向连接和知识蒸馏，该方法在监督学习与强化学习任务中均优于微调和基线模型，在 CIFAR-10 和 Atari 环境中取得了当前最优结果。

ABSTRACT

A zoo of deep nets is available these days for almost any given task, and it is increasingly unclear which net to start with when addressing a new task, or which net to use as an initialization for fine-tuning a new model. To address this issue, in this paper, we develop knowledge flow which moves 'knowledge' from multiple deep nets, referred to as teachers, to a new deep net model, called the student. The structure of the teachers and the student can differ arbitrarily and they can be trained on entirely different tasks with different output spaces too. Upon training with knowledge flow the student is independent of the teachers. We demonstrate our approach on a variety of supervised and reinforcement learning tasks, outperforming fine-tuning and other 'knowledge exchange' methods.

研究动机与目标

• 为解决在新任务中选择最优预训练模型进行初始化的挑战，特别是当存在多个相关性各异的模型时。
• 克服现有知识迁移方法的局限性，如参数增长、对单一教师模型的依赖，或无法处理异构架构与输出空间的问题。
• 使学生网络能够独立地从多个教师模型学习，且在训练完成后不再保留结构或参数上的依赖。
• 通过有效利用高质量与次优教师模型的知识，提升新任务的泛化能力与性能，避免误导性知识的影响。

提出的方法

• Knowledge Flow 通过教师与学生网络之间的侧向连接，在训练过程中实现知识迁移，支持跨不同架构的特征级知识迁移。
• 学生网络通过结合监督学习或强化学习目标与来自多个教师的蒸馏损失进行训练，使用软标签或价值函数作为监督信号。
• 该方法应用知识蒸馏，使学生模型的输出分布与教师模型相匹配，即使教师模型在不同任务上训练或具有不同的输出空间。
• 学生模型通过任务特定损失与蒸馏损失的联合端到端训练，确保在收敛后最终模型完全独立于教师模型。
• 该框架支持教师与学生网络采用任意网络架构，且不要求学生在训练后保留与教师的任何残余连接。
• 该方法适用于监督学习（如 CIFAR-10/100）与强化学习（如 Atari 游戏），并使用标准训练目标，如交叉熵损失或 A3C 损失。

实验结果

研究问题

• RQ1 能否在无架构限制的前提下，有效将来自多个异构深度网络（具有不同架构与任务）的知识迁移至单一学生模型？
• RQ2 当存在多个教师模型，尤其是部分教师模型质量较差时，Knowledge Flow 是否优于微调及其他知识蒸馏方法？
• RQ3 Knowledge Flow 是否能在利用任意数量教师模型知识的同时，保持学生模型的固定参数规模，避免参数爆炸？
• RQ4 Knowledge Flow 在监督学习与强化学习设置中是否均有效，且能否在多样化任务与数据分布上实现良好泛化？

主要发现

• 在 CIFAR-10 上，使用 C100 和 SVHN 教师模型的 Knowledge Flow 将测试误差降低至 3.88%，优于基线 DenseNet（4.44%）与从 C100 微调的模型（4.27%）。
• 在 CIFAR-100 上，Knowledge Flow 实现了 20.78% 的测试误差，优于基线（21.64%），也优于从 C10（20.83%）和 SVHN（21.02%）微调的模型。
• Knowledge Flow 有效缓解了劣质教师模型（如 SVHN 在 CIFAR-10 上）的负面影响，避免了微调方法中常见的性能下降。
• 在 Atari 环境中，Knowledge Flow 在性能上超越了微调与先前的知识迁移方法，验证了其在强化学习中的有效性。
• 训练完成后，学生模型完全独立于教师模型，即使使用多个教师模型，也未出现残余依赖或参数增长。
• 该方法在多样化任务与数据分布上均实现了稳定提升，验证了其泛化能力及对教师质量差异的鲁棒性。