[论文解读] Benefits of Linear Conditioning with Metadata for Image Segmentation

Andréanne Lemay, Charley Gros+4 more|arXiv (Cornell University)|Feb 18, 2021

Medical Imaging and Analysis参考文献 18被引用 6

一句话总结

本文提出使用特征自适应线性调制（FiLM）来利用肿瘤类型等元数据对U-Net分割模型进行条件化，从而提升性能与鲁棒性。通过使用元数据对特征图应用可学习仿射变换，FiLM使脊髓肿瘤分割的平均Dice分数提升了5.1%，并实现了在标签缺失或数据有限情况下的有效多任务学习。

ABSTRACT

Medical images are often accompanied by metadata describing the image (vendor, acquisition parameters) and the patient (disease type or severity, demographics, genomics). This metadata is usually disregarded by image segmentation methods. In this work, we adapt a linear conditioning method called FiLM (Feature-wise Linear Modulation) for image segmentation tasks. This FiLM adaptation enables integrating metadata into segmentation models for better performance. We observed an average Dice score increase of 5.1% on spinal cord tumor segmentation when incorporating the tumor type with FiLM. The metadata modulates the segmentation process through low-cost affine transformations applied on feature maps which can be included in any neural network's architecture. Additionally, we assess the relevance of segmentation FiLM layers for tackling common challenges in medical imaging: multi-class training with missing segmentations, model adaptation to multiple tasks, and training with a limited or unbalanced number of annotated data. Our results demonstrated the following benefits of FiLM for segmentation: FiLMed U-Net was robust to missing labels and reached higher Dice scores with few labels (up to 16.7%) compared to single-task U-Net. The code is open-source and available at www.ivadomed.org.

研究动机与目标

• 通过整合通常被忽略的临床和采集元数据来提升医学图像分割性能。
• 通过支持标签缺失的多任务学习，解决医学影像中有限或不平衡标注的挑战。
• 开发一种低成本、灵活的分割任务适应方法，通过元数据驱动的条件化实现。
• 评估肿瘤类型、扫描仪厂商和患者人口统计等元数据对分割性能的影响。
• 通过单一多任务模型实现在多个解剖结构间的迁移学习。

提出的方法

• 将FiLM（特征自适应线性调制）适配用于通过特征图上的可学习仿射变换，利用元数据对U-Net分割网络进行条件化。
• 将独热编码的元数据（如肿瘤类型、器官）作为FiLM生成网络的输入，以生成通道级缩放与偏移参数。
• 将FiLM层集成到U-Net的编码器和解码器中，使元数据能够在每一层调制特征表示。
• 在一个包含多个数据源的单一多类别分割模型上进行训练，每个图像仅标注一个类别，通过任务间共享权重来利用。
• 采用标签掩码技术模拟缺失标注，并在部分监督条件下评估模型的鲁棒性。
• 将连续元数据（如年龄、回波时间）离散化为分箱区间，以在FiLM中使用，从而实现对多样化数据类型的整合。

实验结果

研究问题

• RQ1 使用肿瘤类型等元数据对分割模型进行条件化，能否提升分割性能？
• RQ2 当标签缺失或不完整时，基于FiLM的条件化如何影响模型的鲁棒性？
• RQ3 一个单一的FiLM化U-Net在仅有限或不平衡标注的情况下，能在多大程度上泛化到多个解剖结构？
• RQ4 当仅有少量标注样本时，FiLM是否能实现有效的少样本适应？
• RQ5 元数据整合如何影响医学图像分割中的不确定性与泛化能力？

主要发现

• 在引入肿瘤类型元数据后，FiLM条件化使脊髓肿瘤分割的平均Dice分数提升了5.1%。
• 当仅使用少量标注样本进行训练时，FiLM化U-Net的Dice分数最高比单任务U-Net高出16.7%。
• 在仅每类2名受试者被标注的情况下，FiLM模型在脾脏/肾脏分割任务中的Dice分数比单任务U-Net高出11.5%。
• 该模型对缺失标签保持鲁棒，在训练集中某些类别未被标注时仍能维持高性能。
• 随着数据集规模增大，FiLM模型的性能收敛至标准U-Net水平，表明其具备可扩展性与稳定性。
• 该方法通过单一共享架构实现了在不同器官和病理类型间的有效多任务学习，且标注成本极低。