[論文レビュー] From Performance to Practice: Knowledge-Distilled Segmentator for On-Premises Clinical Workflows

Qizhen Lan, Aaron Choi+5 more|arXiv (Cornell University)|Jan 14, 2026

Scientific Computing and Data Management被引用数 0

ひとこと要約

この論文は、高容量 nnU-Net 分割モデルをコンパクトな学習者モデル群へ圧縮するロジットベースの知識蒸留フレームワークを提案し、リソース制約下のオンプレミス臨床ワークフローでのデプロイを可能にしつつ、精度を維持し効率を向上させる。

ABSTRACT

Deploying medical image segmentation models in routine clinical workflows is often constrained by on-premises infrastructure, where computational resources are fixed and cloud-based inference may be restricted by governance and security policies. While high-capacity models achieve strong segmentation accuracy, their computational demands hinder practical deployment and long-term maintainability in hospital environments. We present a deployment-oriented framework that leverages knowledge distillation to translate a high-performing segmentation model into a scalable family of compact student models, without modifying the inference pipeline. The proposed approach preserves architectural compatibility with existing clinical systems while enabling systematic capacity reduction. The framework is evaluated on a multi-site brain MRI dataset comprising 1,104 3D volumes, with independent testing on 101 curated cases, and is further examined on abdominal CT to assess cross-modality generalizability. Under aggressive parameter reduction (94%), the distilled student model preserves nearly all of the teacher's segmentation accuracy (98.7%), while achieving substantial efficiency gains, including up to a 67% reduction in CPU inference latency without additional deployment overhead. These results demonstrate that knowledge distillation provides a practical and reliable pathway for converting research-grade segmentation models into maintainable, deployment-ready components for on-premises clinical workflows in real-world health systems.

研究の動機と目的

• 研究レベルの分割性能とオンプレミス臨床展開の制約とのギャップを埋める。
• デプロイ可能な学習者モデルを圧縮するための統一的なロジットベース知識蒸馏フレームワークを開発する。
• 現行の臨床パイプラインと互換性を保ちながら、チャネル削減された学習者の規模拡張を可能にする。
• 固定展開パイプライン下で MRI 脳と腹部 CT のようなマルチモダリティ横断一般化を示す。
• KD が健康システムのワークフローに関係する厳しい圧縮下で安定性と境界忠実度を向上させることを示す。

提案手法

• マルチ site の脳 MRI で学習させた高容量の nnU-Net 教師を用いて蒸留のソフトターゲットを提供する。
• 同じアーキテクチャとデプロイインターフェースを保持しつつ、チャネル幅を一様に 1/2 および 1/4 に削減してスケーラブルな学習者モデル群を定義する。
• 温度 tau の softened 教師出力に対して標準のセグメンテーション損失と KL 散逸蒸留損失を組み合わせた損失で学習させる。
• 蒸留のみを学習させ、推論パイプラインを変更せずにデプロイメントの最適化を行う。
• Dice、NSD、HD95 を用いて容積・境界忠実度を評価し、ハードウェア間で CPU/GPU 推論性能を分析する。

実験結果

リサーチクエスチョン

• RQ1 ロジットベース知識蒸留はデプロイメントパイプラインを変更せずに高性能分割モデルを強力に圧縮できるのか。
• RQ2 蒸留されたコンパクト nnU-Net は MRI と CT の固定オンプレミス制約下で臨床的に意味のある分割精度を維持できるのか。
• RQ3 チャネル削減と KD の組み合わせは現実的な臨床ワークフローにおいて CPU/GPU の推論効率をどの程度改善するのか。
• RQ4 KD ベースのデプロイフレームワークはタスク特異的な再設計を要さず、画像モダリティ間で一般化できるのか。

主な発見

モデル	スケール	パラメータ (M)	Dice ↑	NSD ↑	HD95 ↓
Teacher	–	102.44	81.65	90.48	2.82
Student × 1/2	× 1/2	25.64	79.48	90.12	2.92
Student + KD × 1/2	× 1/2	25.64	81.30	90.29	2.87
Student × 1/4	× 1/4	6.43	78.92	89.66	3.18
Student + KD × 1/4	× 1/4	6.43	80.58	89.85	2.96

• 蒸留されたコンパクトモデルは 1/2 スケールでほぼ全ての教師性能を保持（ Dice 79.48 vs 81.65; 教師への相対忠実度 99.6%）；1/4 スケールでは蒸留が失われた性能の substantial portion を回復（低下した精度の 60.8% を回復）。
• 知識蒸留は過度に圧縮されたモデルの安定性を高め、境界の劣化（HD95）を低減し、圧縮下でも解剖学的整合性を維持する。
• チャネル削減は 36%以上のメモリ削減と最大で 67% の CPU レイテンシ削減と、既存ワークフローとの推論互換性を維持しつつ substantial な効率向上を達成。
• モダリティ間（脳 MRI から腹部 CT BTCV）で、アーキテクチャ変更なしに蒸留フレームワークが一般化し、同じ計算予算下で蒸留モデルが非蒸留ベースラインを上回る。