[논문 리뷰] From Performance to Practice: Knowledge-Distilled Segmentator for On-Premises Clinical Workflows

Qizhen Lan, Aaron Choi외 5명|arXiv (Cornell University)|2026. 01. 14.

Scientific Computing and Data Management인용 수 0

한 줄 요약

논문은 고용량 nnU-Net 분할 모델을 소형 학생 모델 계열로 압축하기 위한 로짓 기반 지식 증류 프레임워크를 제시하여, 리소스 제약이 있는 현장 온프레미스 임상 워크플로우에 배치 가능하고 정확도는 유지하며 효율성을 향상시킵니다.

ABSTRACT

Deploying medical image segmentation models in routine clinical workflows is often constrained by on-premises infrastructure, where computational resources are fixed and cloud-based inference may be restricted by governance and security policies. While high-capacity models achieve strong segmentation accuracy, their computational demands hinder practical deployment and long-term maintainability in hospital environments. We present a deployment-oriented framework that leverages knowledge distillation to translate a high-performing segmentation model into a scalable family of compact student models, without modifying the inference pipeline. The proposed approach preserves architectural compatibility with existing clinical systems while enabling systematic capacity reduction. The framework is evaluated on a multi-site brain MRI dataset comprising 1,104 3D volumes, with independent testing on 101 curated cases, and is further examined on abdominal CT to assess cross-modality generalizability. Under aggressive parameter reduction (94%), the distilled student model preserves nearly all of the teacher's segmentation accuracy (98.7%), while achieving substantial efficiency gains, including up to a 67% reduction in CPU inference latency without additional deployment overhead. These results demonstrate that knowledge distillation provides a practical and reliable pathway for converting research-grade segmentation models into maintainable, deployment-ready components for on-premises clinical workflows in real-world health systems.

연구 동기 및 목표

• 연구 등급 분할 성능과 온프레미스 임상 배포 제약 간의 격차를 해소한다.
• 고용량 교사 모델을 배포 가능한 학생 모델로 압축하기 위한 통합 로짓 기반 지식 증류 프레임워크를 개발한다.
• 기존 임상 파이프라인과의 아키텍처 호환성을 보존하면서 채널 축소된 학생 모델의 확장성을 확보한다.
• 고정된 배포 파이프라인에서 교차 모달성 일반화 가능성을 시연한다(뇌 MRI 및 복부 CT).
• 건강 시스템 워크플로우에 관련된 적극적 압축 하에서 안정성 및 경계 충실도를 향상시키는 KD를 보여준다.]
• method: [
• Use a high-capacity nnU-Net teacher trained on multi-site brain MRI to provide soft targets for distillation.
• 번역 요청에서 따옴표가 잘못 들어갔습니다.
• Define a scalable family of student models by uniformly reducing channel width to 1/2 and 1/4, preserving the same architecture and deployment interface.
• Train students with a combined loss of standard segmentation loss and KL-divergence distillation loss on softened teacher outputs with temperature tau.
• Optimize for deployment by keeping inference pipeline unchanged while training distillation only.
• Evaluate using Dice, NSD, and HD95 to assess volumetric and boundary fidelity, and analyze CPU/GPU inference performance across hardware.

제안 방법

• 고용량 nnU-Net 교사를 다사이트 뇌 MRI에서 학습된 소프트 타깃을 제공하기 위해 사용한다.
• 동일한 아키텍처 및 배포 인터페이스를 유지하면서 채널 폭을 균일하게 1/2 및 1/4로 축소하여 확장 가능한 학생 모델 계열을 정의한다.
• 교사 출력의 온도 tau로 완화된 소프트 타깃에서 표준 분할 손실과 KL-발산 증류 손실의 결합 손실로 학생들을 학습시킨다.
• 추론 파이프라인을 변경하지 않고 증류 학습만 수행하여 배포에 최적화한다.
• Dice, NSD, HD95를 사용해 부피 및 경계 충실도를 평가하고 하드웨어 전반에 걸친 CPU/GPU 추론 성능을 분석한다.

실험 결과

연구 질문

• RQ1 로짓 기반 지식 증류가 deployed 파이프라인을 변경하지 않고도 고성능 분할 모델의 적극적 압축을 가능하게 하는가?
• RQ2 압축된 소형 nnU-Net이 MRI와 CT 모달리티에서 고정된 온프레미스 제약 하에서도 임상적으로 의미 있는 분할 정확도를 유지하는가?
• RQ3 채널 축소와 KD를 결합하면 실제 임상 워크플로우에서 CPU 및 GPU 추론 효율성이 얼마나 향상되는가?
• RQ4 KD 기반 배포 프레임워크가 작업별 재설계 없이 이미지 모달리티 간에 일반화 가능한가?

주요 결과

• 증류된 소형 모델은 1/2 스케일에서 교사 성능 거의 모두를 보존한다(Dice 79.48 vs 81.65; 교사에 대한 99.6% 상대 충실도); 1/4 스케일에서 KD는 소실된 성능의 상당 부분을 회복한다(손실된 정확도 60.8%).
• 지식 증류는 적극적으로 압축된 모델의 안정성을 높이고 경계 열화(HD95)를 줄이며 압축 하에서도 해부학적 일관성을 유지한다.
• 채널 축소는 기존 워크플로우와의 추론 호환성을 유지하면서 메모리 36% 이상 감소 및 CPU 대기시간 최대 67%까지 감소하는 상당한 효율 향상을 제공한다.
• 모달리티 간(뇌 MRI에서 복부 CT BTCV) 프레임워크가 아키텍처 변경 없이 일반화되며, 동일한 계산 예산에서 증류 모델이 비증류 baselines를 능가한다.