[论文解读] FluoroSAM: A Language-promptable Foundation Model for Flexible X-ray Image Segmentation

Benjamin D. Killeen, Liam J. Wang+6 more|arXiv (Cornell University)|Mar 12, 2024

Radiomics and Machine Learning in Medical Imaging被引用 6

一句话总结

FluoroSAM 是一个语言对齐的 SAM 风格的基础模型，从合成 X 射线数据中训练，能够进行文本提示、零-shot 和点精细化分割 X 射线影像，在真实透视数据上优于现有的 SAM 变体，甚至对未见任务如胸部 X 线全肺分割也能泛化。

ABSTRACT

Language promptable X-ray image segmentation would enable greater flexibility for human-in-the-loop workflows in diagnostic and interventional precision medicine. Prior efforts have contributed task-specific models capable of solving problems within a narrow scope, but expanding to broader use requires additional data, annotations, and training time. Recently, language-aligned foundation models (LFMs) -- machine learning models trained on large amounts of highly variable image and text data thus enabling broad applicability -- have emerged as promising tools for automated image analysis. Existing foundation models for medical image analysis focus on scenarios and modalities where large, richly annotated datasets are available. However, the X-ray imaging modality features highly variable image appearance and applications, from diagnostic chest X-rays to interventional fluoroscopy, with varying availability of data. To pave the way toward an LFM for comprehensive and language-aligned analysis of arbitrary medical X-ray images, we introduce FluoroSAM, a language-promptable variant of the Segment Anything Model, trained from scratch on 3M synthetic X-ray images from a wide variety of human anatomies, imaging geometries, and viewing angles. These include pseudo-ground truth masks for 128 organ types and 464 tools with associated text descriptions. FluoroSAM is capable of segmenting myriad anatomical structures and tools based on natural language prompts, thanks to the novel incorporation of vector quantization (VQ) of text embeddings in the training process. We demonstrate FluoroSAM's performance quantitatively on real X-ray images and showcase on several applications how FluoroSAM is a key enabler for rich human-machine interaction in the X-ray image acquisition and analysis context. Code is available at https://github.com/arcadelab/fluorosam.

研究动机与目标

• 为任意 X 射线影像提供自动化与交互式分割，无需任务特定的再训练。
• 利用语言对齐的提示范式来处理重叠的 X 射线结构与歧义。
• 从零开始创建一个包含器官与器械掩模的大规模合成 X 射线数据集，用以训练基础模型。
• 展示对未见 X 射线类别的零-shot 泛化，以及在尸体数据和胸 X 射线中的真实世界适用性。

提出的方法

• 在一个合成 X 射线数据集（1.6M DRRs）上从零开始训练一个 SAM 风格的基础模型，覆盖 128 个器官和 464 种器械，总计 63M 掩模。
• 使用由大型语言模型扩充的文本提示来描述目标并引导分割。
• 融入基于点的细化提示以改进初始文本提示掩膜。
• 采用 MedCLIP 文本嵌入（冻结）与 EfficientViT 图像编码器，并结合基于 GPT-3.5 的增强循环来产生提示变体。
• 应用领域随机化和仿真到现实的迁移技术以弥合合成与现实之间的差距。

实验结果

研究问题

• RQ1 仅使用文本提示，语言对齐的基础模型是否能够对 X 射线影像中的任意对象和解剖结构进行分割？
• RQ2 引入基于点的细化是否提高真实 X 射线数据的分割质量？
• RQ3 模型在未见 X 射线类别上的泛化程度到何种程度（零-shot），如胸部 X 线的全肺分割？

主要发现

• FluoroSAM 在合成测试集上仅用文本提示实现 0.43±0.26 Dice，使用点基细化后提升至 0.85±0.11。
• 使用两个点时，FluoroSAM 达到 0.68±0.20 Dice，胜过 MedSAM（0.60±0.22）和 SAM（0.58±0.19）。
• 在荧光透视尸体研究中，文本提示对硬组织得到 0.39 Dice，总体 0.26；而添加点提示后，硬组织 0.90±0.15，软组织 0.73±0.15（优于 SAM/MedSAM 基线）。
• 胸部 X 线的全肺分割（未在全肺类别上训练）在文本提示下达到 0.52±0.21 Dice，使用点细化后上升至 0.90±0.04。
• FluoroSAM 在真实 X 射线影像中展示了零-shot 泛化和交互式细化能力，包括尸体和胸部 X 光场景。