[论文解读] From Performance to Practice: Knowledge-Distilled Segmentator for On-Premises Clinical Workflows

Qizhen Lan, Aaron Choi+5 more|arXiv (Cornell University)|Jan 14, 2026

Scientific Computing and Data Management被引用 0

一句话总结

该论文提出基于逻辑斯蒂回归的知识蒸馏框架，将高容量的 nnU-Net 分割模型压缩为一系列紧凑的学生模型，使其能够部署在资源受限的本地临床工作流中，同时保持准确性并提高效率。

ABSTRACT

Deploying medical image segmentation models in routine clinical workflows is often constrained by on-premises infrastructure, where computational resources are fixed and cloud-based inference may be restricted by governance and security policies. While high-capacity models achieve strong segmentation accuracy, their computational demands hinder practical deployment and long-term maintainability in hospital environments. We present a deployment-oriented framework that leverages knowledge distillation to translate a high-performing segmentation model into a scalable family of compact student models, without modifying the inference pipeline. The proposed approach preserves architectural compatibility with existing clinical systems while enabling systematic capacity reduction. The framework is evaluated on a multi-site brain MRI dataset comprising 1,104 3D volumes, with independent testing on 101 curated cases, and is further examined on abdominal CT to assess cross-modality generalizability. Under aggressive parameter reduction (94%), the distilled student model preserves nearly all of the teacher's segmentation accuracy (98.7%), while achieving substantial efficiency gains, including up to a 67% reduction in CPU inference latency without additional deployment overhead. These results demonstrate that knowledge distillation provides a practical and reliable pathway for converting research-grade segmentation models into maintainable, deployment-ready components for on-premises clinical workflows in real-world health systems.

研究动机与目标

• 弥合研究级分割性能与本地临床部署约束之间的差距。
• 开发一个统一的基于 logits 的知识蒸馏框架，将高容量教师模型压缩为可部署的学生模型。
• 在保持现有临床流水线的体系结构兼容性的同时，使学生模型实现可扩展的通道减缩。
• 在固定部署流水线下展示跨模态的泛化性（脑MRI 与腹部 CT）。
• 展示 KD 在对健康系统工作流相关的强压缩下提升稳定性和边界保真度的效果。

提出的方法

• 使用在多站点脑部 MRI 上训练的高容量 nnU-Net 教师模型，提供蒸馏用的软目标。
• 通过统一将通道宽度减半和减为四分之一，定义可扩展的学生模型族，保持相同的体系结构和部署接口。
• 在教师输出软化后，使用标准分割损失与 KL 散度蒸馏损失的组合损失对学生进行训练，温度参数为 tau。
• 通过在不改变推理流水线的前提下仅训练蒸馏，优化部署。
• 使用 Dice、NSD 和 HD95 评估体积和边界保真度，并分析在不同硬件上的 CPU/GPU 推理性能。

实验结果

研究问题

• RQ1 基于 logits 的知识蒸馏是否能够在不改变部署流水线的前提下，对高性能分割模型进行强压缩？
• RQ2 在固定本地部署约束下，蒸馏后、紧凑的 nnU-Net 在 MRI 与 CT 两种模态下是否仍维持具有临床意义的分割准确性？
• RQ3 结合通道缩减与 KD，在真实临床工作流的 CPU 与 GPU 硬件上能在多大程度上提升推理效率？
• RQ4 KD 基部署框架是否能够在不进行任务特定重新设计的前提下跨模态实现泛化？

主要发现

• 蒸馏后、紧凑的模型在 1/2 规模下几乎保持教师的全部性能（Dice 79.48 对 81.65；对教师的相对保真度为 99.6%）；在 1/4 规模下，KD 回补了相当一部分损失的性能（降幅的 60.8% 得到恢复）。
• 知识蒸馏在强压缩模型上提升稳定性，降低边界退化（HD95），在压缩条件下保持解剖结构的一致性。
• 通道缩减带来显著的效率提升，内存下降超过 36%，CPU 延迟下降最高可达 67%，且保持与现有工作流的推理兼容性。
• 在跨模态场景（脑 MRI 到腹部 BTCV CT）中，该蒸馏框架实现了无架构变更的泛化，在相同计算预算下，蒸馏模型优于非蒸馏基线。