[论文解读] FedNorm: Modality-Based Normalization in Federated Learning for Multi-Modal Liver Segmentation

Tobias Bernecker, Annette Peters+6 more|arXiv (Cornell University)|May 23, 2022

Radiomics and Machine Learning in Medical Imaging被引用 16

一句话总结

本文提出 FedNorm 和 FedNorm+ 两种联邦学习方法，通过基于模态的归一化提升在去中心化环境下跨 CT 和 MRI 数据的多模态肝脏分割性能。通过根据成像模态在客户端或切片级别对特征进行归一化，该方法在 CT 上实现最高 0.961 的 Dice 分数，在 MRI 上实现最高 0.941 的 Dice 分数，始终优于本地模型，并与集中式训练性能相当或更优。

ABSTRACT

Given the high incidence and effective treatment options for liver diseases, they are of great socioeconomic importance. One of the most common methods for analyzing CT and MRI images for diagnosis and follow-up treatment is liver segmentation. Recent advances in deep learning have demonstrated encouraging results for automatic liver segmentation. Despite this, their success depends primarily on the availability of an annotated database, which is often not available because of privacy concerns. Federated Learning has been recently proposed as a solution to alleviate these challenges by training a shared global model on distributed clients without access to their local databases. Nevertheless, Federated Learning does not perform well when it is trained on a high degree of heterogeneity of image data due to multi-modal imaging, such as CT and MRI, and multiple scanner types. To this end, we propose Fednorm and its extension \fednormp, two Federated Learning algorithms that use a modality-based normalization technique. Specifically, Fednorm normalizes the features on a client-level, while Fednorm+ employs the modality information of single slices in the feature normalization. Our methods were validated using 428 patients from six publicly available databases and compared to state-of-the-art Federated Learning algorithms and baseline models in heterogeneous settings (multi-institutional, multi-modal data). The experimental results demonstrate that our methods show an overall acceptable performance, achieve Dice per patient scores up to 0.961, consistently outperform locally trained models, and are on par or slightly better than centralized models.

研究动机与目标

• 解决在不同机构、扫描仪和成像模态（CT/MRI）的数据非独立同分布（non-IID）且具有隐私敏感性时，训练鲁棒的多模态肝脏分割模型的挑战。
• 克服由于模态异质性和客户端间分布偏移导致的联邦学习性能下降问题。
• 开发一种适应模态特定特征的归一化策略，无需数据共享或集中数据收集。
• 证明联邦模型可在不违反数据隐私的前提下，与集中式训练性能相当或更优。
• 仅在特征归一化过程中使用客户端级别的模态信息，实现 CT 和 MRI 模态之间的有效迁移学习。

提出的方法

• 提出 FedNorm，一种联邦学习框架，通过使用模态特定的统计信息在客户端级别对特征进行归一化，提升在异构数据源中的泛化能力。
• 提出 FedNorm+，作为 FedNorm 的扩展，通过硬编码的模态分配方式在切片级别应用基于模态的归一化，以更好地处理同时包含 CT 和 MRI 数据的客户端。
• 将模态感知批量归一化集成到联邦训练过程中，根据成像模态按客户端或按切片调整归一化统计量。
• 采用基于 U-Net 的分割架构，并加入模态感知归一化层，确保在不同成像协议下保持一致的特征表示。
• 以 Federated Averaging with Server Momentum（FedAvgM）作为基础优化策略，提升联邦训练过程中的收敛性和稳定性。
• 利用来自多个机构和模态的公开数据集（CHAOS19、LiTS17、SLIVER07、KORA）在真实、非独立同分布、多机构环境中进行模型训练与验证。

实验结果

研究问题

• RQ1 当数据去中心化且非独立同分布时，联邦学习能否有效训练跨 CT 和 MRI 数据的多模态肝脏分割模型？
• RQ2 与标准归一化或基线联邦学习方法相比，基于模态的归一化在联邦肝脏分割中如何提升性能？
• RQ3 当客户端包含混合模态数据（CT 和 MRI）时，FedNorm+ 是否能优于 FedNorm 及其他最先进联邦学习方法？
• RQ4 在不进行数据集中化的情况下，联邦模型在多模态肝脏分割中能在多大程度上匹配或超越集中式模型？
• RQ5 模态感知归一化是否能减轻联邦医学图像分割中数据异质性的负面影响？

主要发现

• 在 Non-IID 2 设置下，FedNorm+ 在 MRI 上取得 0.942（±0.023）的 Dice 分数，在 CT 上取得 0.961（±0.022）的 Dice 分数，展现出多模态联邦肝脏分割的最先进性能。
• 所提出的 FedNorm+ 方法在所有客户端上始终优于在单个数据集上训练的本地模型，CT 上 Dice 分数最高达 0.961，MRI 上最高达 0.941。
• 在多个客户端中，FedNorm+ 的性能与集中式模型相当或更优，尤其在具有挑战性的 KORA T1 Water (1) MRI 客户端中，其性能优于 FedBN 和集中式模型。
• FedNorm+ 在面对不熟悉图像外观时仍能稳健分割肝脏，并在与肝脏强度相似的区域避免产生假阳性。
• 该方法使用相对较小的 U-Net 架构即实现高性能，表明其在资源受限环境下的高效性与可扩展性。
• FedNorm+ 在多种成像协议和扫描仪类型中表现出优越的泛化能力，尤其在混合模态数据客户端中表现更优，而 FedNorm 因缺乏切片级别模态处理能力而失效。