[論文レビュー] Following the Teacher's Footsteps: Scheduled Checkpoint Distillation for Domain-Specific LLMs

Cheng Feng, Chaoliang Zhong+2 more|arXiv (Cornell University)|Jan 15, 2026

Topic Modeling被引用数 0

ひとこと要約

要約: 論文は、ドメイン特化ディスティレーションにおいて学生モデルが教師を上回る条件を理論的に示し、Scheduled Checkpoint Distillation (SCD) と Adaptive Weight (AW) メカニズムを導入して、QA・NER・テキスト分類タスク全般で実践的にこれを実現する方法を提案します。

ABSTRACT

Large language models (LLMs) are challenging to deploy for domain-specific tasks due to their massive scale. While distilling a fine-tuned LLM into a smaller student model is a promising alternative, the capacity gap between teacher and student often leads to suboptimal performance. This raises a key question: when and how can a student model match or even surpass its teacher on domain-specific tasks? In this work, we propose a novel theoretical insight: a student can outperform its teacher if its advantage on a Student-Favored Subdomain (SFS) outweighs its deficit on the Teacher-Favored Subdomain (TFS). Guided by this insight, we propose Scheduled Checkpoint Distillation (SCD), which reduces the TFS deficit by emulating the teacher's convergence process during supervised fine-tuning (SFT) on the domain task, and a sample-wise Adaptive Weighting (AW) mechanism to preserve student strengths on SFS. Experiments across diverse domain tasks--including QA, NER, and text classification in multiple languages--show that our method consistently outperforms existing distillation approaches, allowing the student model to match or even exceed the performance of its fine-tuned teacher.

研究の動機と目的

• 大規模モデルサイズと限られたデプロイ資源のため、ドメイン特化LLMの展開が難しいという課題を動機づける。
• SFT-then-distillパイプラインで、学生が教師を凌ぐことができる条件の理論的枠組みを提供する。
• SFT時の教師の収束軌道を模倣することで、教師-学生間のギャップを縮小するSCDを開発する。
• 学生が好むサブドメイン(SFS)で学生の強みを保持・活用するためにAWを導入する。
• SCDおよびAWを組み合わせたSCDが、多言語ドメインタスク全体で既存のディスティレーションベースラインを上回ることを実証的に示す。）

提案手法

• ドメインをStudent-Favored Subdomain (SFS)とTeacher-Favored Subdomain (TFS)に分割する理論分析を基礎とする。
• 情報的な中間チェックポイントを principled schedule に従って選択することで、教師の収束を模倣するScheduled Checkpoint Distillation (SCD)を提案する。
• 個々のサンプルごとに学生 vs 教師の相対的難易度に基づいてディスティレーション重みを割り当てるインスタンスレベルのAdaptive Weight (AW) メカニズムを導入する。
• AWを用いた、AWをサンプルごとの修飾子として用いたディスティレーション損失とクロスエントロピー損失を統合した統一ディスティレーション目的関数を定式化する。
• 現在の学生状態に近い教師と高性能な教師のバランスをとるスケジュール指標を定義する。
• SFS/TFS分布をドメイン固有の微調整モデルから推定し、それに基づいてディスティレーション損失にウェイトをかけることでAWを適用する。
• PubMed QA (英語) や JMED-LLM (日本語) などの多言語ドメインタスクを、JMMLU、NRNER、CRADE、RRTNM、SMDIS等のタスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型のSFT-then-distill設定で、学生が教師を凌ぐ条件は何か。
• RQ2 教師のチェックポイントをどのように最適にスケジュールして、学生のディスティレーション欠陥を最小化しつつ教師の強みを活用できるか。
• RQ3 サンプルごとの適応的加重で、学生の強みを保ちつつ教師の知識を取り入れて全体性能を向上させることができるか。
• RQ4 SCDとAWは、複数言語のQA、NER、テキスト分類タスクにおいて、標準的なディスティレーション法より一貫して改善をもたらすか。

主な発見

Task Type	JMMLU	PubmedQA	NRNER	CRADE	RRTNM	SMDIS	Avg
TD	0.453	0.750	0.676/0.894	0.804	0.523	0.986	0.727
TAID	0.504	0.762	0.659/0.866	0.804	0.523	0.988	0.729
CD	0.482	0.754	0.684/0.883	0.801	0.585	0.986	0.739
SCD (OUR)	0.474	0.756	0.686/0.909	0.819	0.538	0.986	0.742
SCD w/ AW (OUR)	0.523	0.766	0.711/0.944	0.807	0.600	0.986	0.763

• AW搭載のSCDは、タスクと言語を問わず標準ディスティレーションベースライン（TD、TAID、CD）を一貫して上回る。
• SCD単独でも競争力のあるAvg性能を達成する一方、AW搭載SCDは最高のAvgスコアをもたらし、いくつかのタスクで教師SFTを超える。
• NRNERではSCDがTFSのギャップを縮小し、AWがSFSをさらに保持することで、Exact F1およびPartial F1で学生が教師を上回る。
• 複数のタスクで、蒸留後の学生が微調整済みの教師と同等またはそれを上回る性能を示し、リソース制約下の導入可能性を実証。
• 論文は、動的なチェックポイント選択が高性能な教師と現在の学生状態への近接性をバランスさせる様子を視覚化として示している。