[论文解读] Hypernetwork-based Personalized Federated Learning for Multi-Institutional CT Imaging

Ziyuan Yang, Wenjun Xia+4 more|arXiv (Cornell University)|Jun 8, 2022

Medical Imaging Techniques and Applications参考文献 48被引用 11

一句话总结

本文提出 HyperFed，一种基于超网络的个性化联邦学习框架，用于多机构CT图像重建，通过将全局特征学习与机构特定的数据适应解耦。通过使用机构特定的超网络为全局共享的成像网络生成调制超参数，HyperFed 在保护数据隐私的同时，实现了最先进的重建质量，并有效缓解了机构间非独立同分布（non-i.i.d.）数据分布的问题。

ABSTRACT

Computed tomography (CT) is of great importance in clinical practice due to its powerful ability to provide patients' anatomical information without any invasive inspection, but its potential radiation risk is raising people's concerns. Deep learning-based methods are considered promising in CT reconstruction, but these network models are usually trained with the measured data obtained from specific scanning protocol and need to centralizedly collect large amounts of data, which will lead to serious data domain shift, and privacy concerns. To relieve these problems, in this paper, we propose a hypernetwork-based federated learning method for personalized CT imaging, dubbed as HyperFed. The basic assumption of HyperFed is that the optimization problem for each institution can be divided into two parts: the local data adaption problem and the global CT imaging problem, which are implemented by an institution-specific hypernetwork and a global-sharing imaging network, respectively. The purpose of global-sharing imaging network is to learn stable and effective common features from different institutions. The institution-specific hypernetwork is carefully designed to obtain hyperparameters to condition the global-sharing imaging network for personalized local CT reconstruction. Experiments show that HyperFed achieves competitive performance in CT reconstruction compared with several other state-of-the-art methods. It is believed as a promising direction to improve CT imaging quality and achieve personalized demands of different institutions or scanners without privacy data sharing. The codes will be released at https://github.com/Zi-YuanYang/HyperFed.

研究动机与目标

• 通过避免集中化数据收集，解决多机构CT成像中的隐私顾虑和数据共享限制。
• 克服由于机构间扫描仪和协议差异导致的CT成像中固有的非独立同分布（non-i.i.d.）数据分布问题。
• 实现个性化CT重建，确保每个机构的图像质量保持高水平，同时不损害全局模型的稳定性。
• 开发一种通过超网络实现个性化的联邦学习框架，同时保护数据隐私。
• 证明所提出方法在重建质量与鲁棒性方面优于集中式和标准联邦学习基线方法。

提出的方法

• 该框架将优化过程分解为两部分：一个用于学习通用特征的全局共享成像网络，以及一个用于个性化的机构特定超网络。
• 机构特定的超网络以扫描参数作为输入，生成超参数以调节全局成像网络，使其适应各机构独特的数据分布。
• 全局成像网络通过联邦平均法使用所有机构的梯度进行训练，确保模型的稳定性和泛化能力。
• 超网络在各机构本地独立训练，不参与全局聚合，从而保护隐私并支持领域特定的适应。
• 采用两阶段训练流程：首先在大规模数据集上预训练全局成像网络；其次使用本地数据对各机构的超网络进行微调。
• 该方法采用 RED-CNN 作为图像重建的主干网络，并使用 PSNR 和 SSIM 指标评估性能。

实验结果

研究问题

• RQ1 基于超网络的联邦学习框架能否在多机构CT图像重建中有效平衡个性化与模型稳定性？
• RQ2 与集中式和标准联邦学习基线相比，所提出的 HyperFed 方法在图像质量和鲁棒性方面的表现如何？
• RQ3 当本地数据有限时，机构特定的超网络在多大程度上能提升重建质量？
• RQ4 将全局特征学习与本地适应分离，能否减轻CT成像中非独立同分布数据分布的影响？
• RQ5 该框架能否在扫描协议和数据规模各不相同的机构间保持高性能？

主要发现

• 在大规模训练集上，HyperFed 在所有机构中均实现了 38.44 的 PSNR 和 0.9520 的 SSIM，优于 FedAvg（36.99 PSNR）、FedProx（37.30 PSNR）以及非联邦学习基线（37.71 PSNR）。
• 在机构特定的评估中，HyperFed 在机构 #1 达到 39.17 的 PSNR，机构 #2 达到 39.07，机构 #5 达到 39.41，始终优于其他方法。
• 即使在本地数据集较小的情况下，HyperFed 仍保持了具有竞争力的性能，而非联邦学习基线因数据有限而丢失了细节。
• 基于联邦学习的方法（如 FedAvg 和 FedProx）在数据集更大的情况下表现出更高的稳定性和性能，但仍未能实现最优的本地重建质量。
• 箱线图和轮廓分析证实，HyperFed 在所有机构中均保持了稳定且优越的性能，表明其具备强大的鲁棒性和个性化能力。
• 该方法通过在不共享原始数据或超网络梯度的情况下实现机构特定的适应，有效缓解了CT成像中的非独立同分布问题。