[论文解读] Learning to Teach with Student Feedback

Yitao Liu, Tianxiang Sun+2 more|arXiv (Cornell University)|Sep 10, 2021

Topic Modeling参考文献 18被引用 6

一句话总结

本文提出了一种名为交互式知识蒸馏（Interactive Knowledge Distillation, IKD）的新框架，通过允许教师模型根据学生反馈动态调整其软目标，实现教师与学生模型之间的双向知识迁移。采用受元学习启发的课程-考试训练循环，IKD 联合优化教师与学生模型，在 GLUE 基准的多个自然语言处理任务上，持续优于传统的知识蒸馏方法。

ABSTRACT

Knowledge distillation (KD) has gained much attention due to its effectiveness in compressing large-scale pre-trained models. In typical KD methods, the small student model is trained to match the soft targets generated by the big teacher model. However, the interaction between student and teacher is one-way. The teacher is usually fixed once trained, resulting in static soft targets to be distilled. This one-way interaction leads to the teacher's inability to perceive the characteristics of the student and its training progress. To address this issue, we propose Interactive Knowledge Distillation (IKD), which also allows the teacher to learn to teach from the feedback of the student. In particular, IKD trains the teacher model to generate specific soft target at each training step for a certain student. Joint optimization for both teacher and student is achieved by two iterative steps: a course step to optimize student with the soft target of teacher, and an exam step to optimize teacher with the feedback of student. IKD is a general framework that is orthogonal to most existing knowledge distillation methods. Experimental results show that IKD outperforms traditional KD methods on various NLP tasks.

研究动机与目标

• 为解决单向知识蒸馏的局限性，即教师模型保持静态，无法根据学生的学习进展进行调整。
• 通过在训练过程中允许教师从学生反馈中学习，实现动态、交互式的知识迁移。
• 通过联合优化教师与学生模型的框架，提升学生模型的泛化能力与蒸馏效率。
• 开发一种与现有知识蒸馏技术正交的方法，聚焦于交互式教学而非特征蒸馏。
• 在低资源和半监督设置中，验证反馈驱动的教师自适应的有效性。

提出的方法

• IKD 采用两步迭代训练流程：课程阶段，学生在教师生成的软目标上进行训练；考试阶段，学生在独立考试集上的表现被用于生成教师的元梯度。
• 考试阶段在对考试数据进行一次梯度更新后评估学生表现，由此产生的交叉熵损失通过反向传播更新教师参数，实现元学习。
• 该框架基于模型无关元学习（Model-Agnostic Meta-Learning, MAML），采用一阶近似以降低计算成本，同时使教师能够学习一种提升学生泛化能力的教学策略。
• 课程数据与考试数据为独立的批次，确保教师学习生成能泛化到未见样本的软目标。
• 该方法通过允许课程数据为无标签数据，支持半监督学习，从而扩展其在低资源场景下的适用性。
• 通过嵌套循环实现联合优化：内层循环用于学生更新，外层循环用于教师更新，学生在考试数据上的表现梯度引导教师的适应过程。

实验结果

研究问题

• RQ1 教师模型能否根据学生反馈动态调整其软目标，以提升蒸馏性能？
• RQ2 在自然语言处理任务中，交互式知识蒸馏与静态知识蒸馏相比，在学生泛化能力和准确率方面表现如何？
• RQ3 学生反馈在训练不同阶段对教师调整教学策略能力的影响是什么？
• RQ4 所提出的框架能否扩展到课程数据为无标签的半监督设置中？
• RQ5 通过元学习联合优化教师与学生模型，对模型效率与收敛性有何影响？

主要发现

• IKD 在 GLUE 基准的多个自然语言处理任务上持续优于传统的知识蒸馏方法，展现出更优的泛化能力与准确率。
• 学生反馈信号随时间收敛至零，表明教师的自适应教学策略在训练初期即已有效，并在学生学习过程中趋于稳定。
• 该框架与聚焦于特定特征蒸馏（如注意力图、隐藏状态）的现有知识蒸馏方法正交，当与这些方法结合时，IKD 可进一步提升性能。
• 考试阶段提供了有意义的元梯度，有效引导教师适应，表现为学生在未见数据上的表现得到改善。
• IKD 在半监督设置中表现优异，允许课程数据为无标签数据，从而将其实用性扩展至完全监督蒸馏之外。
• 采用一阶 MAML 近似可在保持高性能的同时实现高效训练，使该方法适用于大规模自然语言处理模型。