[論文レビュー] Training Like a Medical Resident: Context-Prior Learning Toward Universal Medical Image Segmentation

Yunhe Gao, Zhuowei Li+4 more|arXiv (Cornell University)|Jun 4, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 9

ひとこと要約

本論文は Hermes を提案する。Hermes はオラクルに導かれた文脈先行学習を用いて、多様なデータセット・モダリティ・タスクを横断する普遍的な医用画像分割を行い、従来のタスク特化モデルより性能とスケーラビリティを向上させる。

ABSTRACT

A major focus of clinical imaging workflow is disease diagnosis and management, leading to medical imaging datasets strongly tied to specific clinical objectives. This scenario has led to the prevailing practice of developing task-specific segmentation models, without gaining insights from widespread imaging cohorts. Inspired by the training program of medical radiology residents, we propose a shift towards universal medical image segmentation, a paradigm aiming to build medical image understanding foundation models by leveraging the diversity and commonality across clinical targets, body regions, and imaging modalities. Towards this goal, we develop Hermes, a novel context-prior learning approach to address the challenges of data heterogeneity and annotation differences in medical image segmentation. In a large collection of eleven diverse datasets (2,438 3D images) across five modalities (CT, PET, T1, T2 and cine MRI) and multiple body regions, we demonstrate the merit of the universal paradigm over the traditional paradigm on addressing multiple tasks within a single model. By exploiting the synergy across tasks, Hermes achieves state-of-the-art performance on all testing datasets and shows superior model scalability. Results on two additional datasets reveals Hermes' strong performance for transfer learning, incremental learning, and generalization to downstream tasks. Hermes's learned priors demonstrate an appealing trait to reflect the intricate relations among tasks and modalities, which aligns with the established anatomical and imaging principles in radiology. The code is available: https://github.com/yhygao/universal-medical-image-segmentation.

研究の動機と目的

• 多様で部分的にアノテーションされた医用データセットを活用して、普遍的な医用画像分割を動機づける。
• Hermes を導入し、タスクとモダリティの priors を学習可能なトークンとして分割を導く。
• タスク固有モデルと比較して、単一の普遍モデルの性能・転移性・スケーラビリティが向上することを示す。
• 身体部位・モダリティ・臨床ターゲットを横断する7つのデータセットと、下流タスクを含む評価を行う。
• 性能向上に寄与する主要コンポーネントを特定するアブレーションを分析する。

提案手法

• 普遍的分割を、異なるROIとモダリティを持つ複数データセットから学習することとして定義する。
• タスク prior プールとモダリティ prior プールを、学習可能なトークン（オラクル）として導入する。
• プライアをバックボーン特徴と双方向注意に基づく prior 融合モジュールで統合する。
• 階層的・マルチスケールな文脈 priors を用い、データセット間で混合バッチで訓練する。
• セグメンテーションバックボーンと文脈 priors を BCE と Dice 損失で共同最適化する。
• 7つの上流データセットと2つの下流タスク（転移/增分/一般化）を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる ROI やモダリティからなる多様なタスクは、普遍的な分割モデルに相互に利益をもたらすことができるか。
• RQ2 解剖学的差異にもかかわらず、身体部位間で表現の転置性を達成できるか。
• RQ3 モダリティの共通性を活用して、CT と MRI の性能を向上させることができるか。
• RQ4 部分アノテーションと異質なデータ下で、タスクとモダリティの priors は分割を改善するか。
• RQ5 普遍的な訓練は、新しいタスクへの転移・増分学習・一般化にどのように影響するか。

主な発見

パラダイム	モデル	BCV	StructSeg	LiTS Tumor	KiTS Tumor	AMOS CT	AMOS MR	CHAOS	平均
従来	nnUNet	84.23	88.53	64.91	81.72	88.79	85.49	91.34	83.57
従来	ResUNet	84.36	88.59	64.87	81.89	88.97	85.43	91.41	83.64
普遍的	Hermes-R	85.78	89.43	67.66	85.26	89.59	86.70	92.02	85.20
従来	SwinUNETR	83.32	88.36	64.82	74.32	88.29	83.97	88.34	81.63
従来	MedFormer	84.61	89.04	66.24	82.09	89.45	85.58	91.85	84.12
普遍的	Hermes-M	86.23	89.57	68.55	85.47	89.72	87.15	92.14	85.54

• Hermes は、7つのデータセットと2つのバックボーンタイプに渡って、従来のタスク特化バックボーンより Dice スコアを一貫して改善する。
• 異なるターゲット ROI は Hermes の下で互いに性能を高め合う。
• 身体部位間の表現の転移性が観察される（腹部から胸部へ）。
• クロスモダリティの利得が見られ、統一モデル内で CT と MRI の改善が得られる。
• Hermes を用いた普遍学習は、より大きなバックボーンとともに従来のパラダイムよりスケールしやすい。
• 下流タスクでは、Hermes は強力な転移・増分学習・一般化性能向上を達成する。