[论文解读] Generative Autoregressive Transformers for Model-Agnostic Federated MRI Reconstruction

Valiyeh Ansarian Nezhad, Gokberk Elmas+4 more|ArXiv.org|Feb 6, 2025

Advanced MRI Techniques and Applications被引用 5

一句话总结

本研究提出 FedGAT，一种模型无关的联邦学习 MRI 重建方法，在全局生成自回归变换器先验的帮助下实现异构站点模型并提升站内与跨站点的重建性能。

ABSTRACT

While learning-based models hold great promise for MRI reconstruction, single-site models trained on limited local datasets often show poor generalization. This has motivated collaborative training across institutions via federated learning (FL)-a privacy-preserving framework that aggregates model updates instead of sharing raw data. Conventional FL requires architectural homogeneity, restricting sites from using models tailored to their resources or needs. To address this limitation, we propose FedGAT, a model-agnostic FL technique that first collaboratively trains a global generative prior for MR images, adapted from a natural image foundation model composed of a variational autoencoder (VAE) and a transformer that generates images via spatial-scale autoregression. We fine-tune the transformer module after injecting it with a lightweight site-specific prompting mechanism, keeping the VAE frozen, to efficiently adapt the model to multi-site MRI data. In a second tier, each site independently trains its preferred reconstruction model by augmenting local data with synthetic MRI data from other sites, generated by site-prompting the tuned prior. This decentralized augmentation improves generalization while preserving privacy. Experiments on multi-institutional datasets show that FedGAT outperforms state-of-the-art FL baselines in both within- and cross-site reconstruction performance under model-heterogeneous settings.

研究动机与目标

• 激励需要隐私保护的多站点 MRI 重建，具有多样的站点特定架构。
• 开发一个模型无关的联邦学习框架，将知识迁移与本地模型设计解耦。
• 提出一个站点提示的生成自回归变换器先验，用于合成多站点 MR 图像。
• 使站点特定的重建模型能够在由本地数据和其他站点的合成数据组成的混合数据集上进行训练。
• 在多机构 MRI 数据集上评估 FedGAT 并与标准 FL 基线进行比较。

提出的方法

• 引入 FedGAT，一种两层次的 FL 框架，其中全局 GAT 先验学习多站点图像分布（Tier 1）。
• 使用一个站点提示的 GAT 先验，将 VAE 编码器/解码器与自回归变换器结合起来生成站点条件的 MR 图像（站点提示引导合成）。
• 在混合数据集上训练站点特定的重建模型，该数据集包含本地数据和由 GAT 先验生成的合成数据（Tier 2）。
• 将跨站点知识迁移与本地模型训练解耦，以支持各站点的模型异质性。
• 对 GAT 先验使用两部分损失：VAE 重构/潜在损失和自回归变换器的交叉熵损失，全球 GAT 使用联邦平均（Alg. 1）。
• 通过基于多尺度令牌的自回归过程进行 MR 图像合成，推断时采用 nucleus 采样，并使用 AdaLN 将变换器输出条件化为站点令牌。

Figure 1: FedGAT devises a two-tier strategy to collaboratively train heterogeneous models for MRI reconstruction. (a) The first tier conducts decentralized training of a global prior $\text{GAT}_{\theta_{\text{GAT}}}$ that captures the distribution of multi-site MR images. The global prior is built

实验结果

研究问题

• RQ1 具有模型异质性的站点在不将体系结构限定为单一全局模型的情况下，能否参与联邦 MRI 重建？
• RQ2 全球学习的生成式自回归先验是否在保持站点特定性能的同时实现有效的跨站点知识迁移？
• RQ3 在混合本地+合成数据上训练的站点特定重建模型是否在 MRI 重建方面优于传统的 FL 基线？
• RQ4 所提出的站点提示 GAT 先验是否能够在多尺度上生成高保真、站点一致的 MR 图像？
• RQ5 与最先进的 FL 基线相比，FedGAT 在站内和跨站点重建任务中的表现如何？

主要发现

• FedGAT 通过将全局知识迁移与本地模型训练解耦，实现了用于 MRI 重建的模型异质性 FL。
• 一个站点提示的 GAT 先验（VAE + 自回归变换器）以站点提示为条件合成多站点 MR 图像。
• 本地重建模型在本地数据上进行预训练，然后在包含来自其他站点的合成数据的混合数据集上进行微调。
• 全面的实验表明，与最先进的 FL 基线相比，FedGAT 在站内和跨站点重建性能方面具有优越性。
• FedGAT 的代码可在作者的代码库中获得。

Figure 2: Architecture of the proposed site-prompted GAT prior. (a) The GAT prior embodies a variational autoencoder (VAE), whose encoder module maps an input MR image onto a set of discrete token maps $\mathbf{f}_{1},\mathbf{f}_{2},\dots,\mathbf{f}_{S}$ across $S$ spatial scales, and whose decoder