[논문 리뷰] Following the Teacher's Footsteps: Scheduled Checkpoint Distillation for Domain-Specific LLMs

Cheng Feng, Chaoliang Zhong외 2명|arXiv (Cornell University)|2026. 01. 15.

Topic Modeling인용 수 0

한 줄 요약

이 논문은 도메인 특화 증류에서 학생 모델이 교사를 능가할 수 있는 이론적 조건을 제시하고, QA, NER, 텍스트 분류 태스크 전반에 걸쳐 이를 실현하기 위한 Adaptive Weight(AW) 메커니즘이 있는 Scheduled Checkpoint Distillation(SCD)을 도입한다.

ABSTRACT

Large language models (LLMs) are challenging to deploy for domain-specific tasks due to their massive scale. While distilling a fine-tuned LLM into a smaller student model is a promising alternative, the capacity gap between teacher and student often leads to suboptimal performance. This raises a key question: when and how can a student model match or even surpass its teacher on domain-specific tasks? In this work, we propose a novel theoretical insight: a student can outperform its teacher if its advantage on a Student-Favored Subdomain (SFS) outweighs its deficit on the Teacher-Favored Subdomain (TFS). Guided by this insight, we propose Scheduled Checkpoint Distillation (SCD), which reduces the TFS deficit by emulating the teacher's convergence process during supervised fine-tuning (SFT) on the domain task, and a sample-wise Adaptive Weighting (AW) mechanism to preserve student strengths on SFS. Experiments across diverse domain tasks--including QA, NER, and text classification in multiple languages--show that our method consistently outperforms existing distillation approaches, allowing the student model to match or even exceed the performance of its fine-tuned teacher.

연구 동기 및 목표

• 대형 모델 크기와 제한된 배치 자원으로 인한 도메인 특화 LLM 배치의 어려움을 동기부여한다.
• SFT-then-distill 파이프라인에서 학생이 교사를 능가할 수 있는 이론적 프레임워크를 제공한다.
• SCD를 개발하여 SFT 중 교사의 수렴 궤적을 모방함으로써 교사-학생 간 격차를 축소한다.
• SFS(학생선호 서브도메인)에서의 학생의 강점을 보존하고 활용하기 위해 AW를 도입한다.
• SCD 및 AW가 다국어 도메인 태스크에서 기존 증류 베이스라인보다 우수함을 실험적으로 보여준다.

제안 방법

• 도메인을 학생선호 서브도메인(SFS)과 교사선호 서브도메인(TFS)으로 구분하는 이론적 분석을 기초로 한다.
• 원칙적인 스케줄을 통해 정보성 중간 체크포인트를 선택하여 교사의 수렴을 모방하는 Scheduled Checkpoint Distillation(SCD)을 제안한다.
• 학생대와 교사 대비 상대적 난이도에 따라 샘플별 증류 가중치를 부여하는 인스턴스 수준 Adaptive Weight(AW) 메커니즘을 도입한다.
• AW를 per-sample 수정자로 사용하는 증류 손실과 교차 엔트로피 손실의 통합 증류 목적함수를 구성한다.
• 현재 학생 상태에 근접한 교사와 고성능 교사를 균형 있게 다루는 스케줄 지표를 정의한다.
• 도메인 특화 파인튜닝 모델에서 SFS/TFS 분포를 추정하고 증류 손실에 가중치를 부여하는 방식으로 AW를 적용한다.
• PubMed QA(English) 및 JMED-LLM(Japanese) 등의 다국어 도메인 태스크에서 JMMLU, NRNER, CRADE, RRTNM, SMDIS를 평가한다.

실험 결과

연구 질문

• RQ1 도메인 특화 SFT-then-distill 구성에서 학생이 교사를 능가할 수 있는 조건은 무엇인가?
• RQ2 학생의 증류 격차를 최소화하면서 교사의 강점을 활용하기 위해 교사 체크포인트를 최적으로 어떤 방식으로 스케줄링할 수 있는가?
• RQ3 샘플별 Adaptive Weight가 학생의 강점을 보존하면서 교사 지식을 흡수해 전반적 성능을 향상시킬 수 있는가?
• RQ4 SCD와 AW가 다국어에서 QA, NER, 텍스트 분류 태스크 전반에 걸쳐 표준 증류 방법 대비 일관된 개선을 이끌어내는가?

주요 결과

태스크 유형	JMMLU	PubmedQA	NRNER	CRADE	RRTNM	SMDIS	Avg
TD	0.453	0.750	0.676/0.894	0.804	0.523	0.986	0.727
TAID	0.504	0.762	0.659/0.866	0.804	0.523	0.988	0.729
CD	0.482	0.754	0.684/0.883	0.801	0.585	0.986	0.739
SCD (OUR)	0.474	0.756	0.686/0.909	0.819	0.538	0.986	0.742
SCD w/ AW (OUR)	0.523	0.766	0.711/0.944	0.807	0.600	0.986	0.763

• SCD with AW consistently outperforms standard distillation baselines (TD, TAID, CD) across tasks and languages.
• SCD alone achieves competitive Avg performance, while SCD with AW yields the highest Avg score and boosts several tasks beyond the teacher SFT.
• On NRNER, SCD reduces the TFS deficit and AW further preserves SFS, enabling the student to exceed the teacher on Exact F1 and Partial F1.
• In multiple tasks, the distilled student matches or surpasses the fine-tuned teacher, demonstrating practical viability for resource-constrained deployment.
• The paper provides visualizations showing dynamic checkpoint selection balancing a high-performance teacher and proximity to the current student state.