[论文解读] Following the Teacher's Footsteps: Scheduled Checkpoint Distillation for Domain-Specific LLMs

Cheng Feng, Chaoliang Zhong+2 more|arXiv (Cornell University)|Jan 15, 2026

Topic Modeling被引用 0

一句话总结

该论文提供了一个理论条件，说明在领域特定蒸馏中学生模型何时能够超越教师，并引入带自适应权重（AW）的计划性检查点蒸馏（SCD），以在问答、命名实体识别和文本分类任务上实践实现。

ABSTRACT

Large language models (LLMs) are challenging to deploy for domain-specific tasks due to their massive scale. While distilling a fine-tuned LLM into a smaller student model is a promising alternative, the capacity gap between teacher and student often leads to suboptimal performance. This raises a key question: when and how can a student model match or even surpass its teacher on domain-specific tasks? In this work, we propose a novel theoretical insight: a student can outperform its teacher if its advantage on a Student-Favored Subdomain (SFS) outweighs its deficit on the Teacher-Favored Subdomain (TFS). Guided by this insight, we propose Scheduled Checkpoint Distillation (SCD), which reduces the TFS deficit by emulating the teacher's convergence process during supervised fine-tuning (SFT) on the domain task, and a sample-wise Adaptive Weighting (AW) mechanism to preserve student strengths on SFS. Experiments across diverse domain tasks--including QA, NER, and text classification in multiple languages--show that our method consistently outperforms existing distillation approaches, allowing the student model to match or even exceed the performance of its fine-tuned teacher.

研究动机与目标

• 由于模型规模大、部署资源有限，激励在领域特定的 LLM 部署难题.
• 提供一个理论框架，说明在 SFT-再蒸馏流程中学生何时能够超越教师.
• 开发 SCD，通过在 SFT 期间模拟教师的收敛轨迹来减少教师-学生的差距。
• 引入 AW 以在学生偏好子领域（SFS）上保留并发挥学生的优势。
• 在多语言领域任务上经验证明 SCD 及带 AW 的 SCD 在性能上优于现有蒸馏基线。

提出的方法

• 将领域划分为 Student-Favored Subdomain (SFS) 和 Teacher-Favored Subdomain (TFS) 的理论分析基础。
• 提出 Scheduled Checkpoint Distillation (SCD)，通过有原则的计划选择信息性中间检查点来模仿教师的收敛。
• 引入逐样本的 Adaptive Weight (AW) 机制，根据学生相对难度对教师与学生的蒸馏权重进行逐样本分配。
• 把蒸馏损失与交叉熵损失结合成一个统一的蒸馏目标，AW作为逐样本修饰因子。
• 定义一个平衡高性能教师与接近当前学生状态的近似教师的计划度量。
• 通过从领域特定微调模型中估计 SFS/TFS 分布，并据此对蒸馏损失进行加权来应用 AW。
• 在多语言领域任务上进行评估，包括 PubMed QA（英语）和 JMED-LLM（日语），任务包括 JMMLU、NRNER、CRADE、RRTNM 和 SMDIS。

实验结果

研究问题

• RQ1 在领域特定的 SFT-then-distill 设置中，何条件下学生可以超越其教师？
• RQ2 如何在尽量减少学生蒸馏劣势的同时，优化地安排教师检查点以利用教师的强项？
• RQ3 逐样本自适应加权是否能够在吸收教师知识的同时保留学生的优势，以提升整体性能？
• RQ4 SCD和AW在多语言的问答、NER和文本分类任务上，是否相对于标准蒸馏方法具有一致的改进？

主要发现

Task Type	JMMLU	PubmedQA	NRNER	CRADE	RRTNM	SMDIS	Avg
TD	0.453	0.750	0.676/0.894	0.804	0.523	0.986	0.727
TAID	0.504	0.762	0.659/0.866	0.804	0.523	0.988	0.729
CD	0.482	0.754	0.684/0.883	0.801	0.585	0.986	0.739
SCD (OUR)	0.474	0.756	0.686/0.909	0.819	0.538	0.986	0.742
SCD w/ AW (OUR)	0.523	0.766	0.711/0.944	0.807	0.600	0.986	0.763

• SCD 与 AW 在所有任务和语言上持续优于标准蒸馏基线（TD、TAID、CD）。
• SCD 单独也达到具有竞争力的 Avg 性能，而 SCD 与 AW 结合则实现最高的 Avg 得分并在若干任务上超过教师的 SFT。
• 在 NRNER 上，SCD 减少 TFS 差距，AW 进一步保留 SFS，使学生在 Exact F1 与 Partial F1 上超越教师。
• 在多项任务中，蒸馏后的学生与微调后的教师相匹配或超越，显示在资源受限部署中的实际可行性。
• 论文提供可视化，展示动态检查点选择在高性能教师与接近当前学生状态之间的权衡。