[論文レビュー] Generative Autoregressive Transformers for Model-Agnostic Federated MRI Reconstruction

Valiyeh Ansarian Nezhad, Gokberk Elmas+4 more|ArXiv.org|Feb 6, 2025

Advanced MRI Techniques and Applications被引用数 5

ひとこと要約

本論文は、FedGATを導入します。FedGATは、MRI再構成のためのモデルに依存しない連邦学習アプローチで、異種サイトモデルを可能にするグローバルな生成的自己回帰トランスフォーマー事前学習を用い、サイト内およびサイト間の再構成性能を向上させます。

ABSTRACT

While learning-based models hold great promise for MRI reconstruction, single-site models trained on limited local datasets often show poor generalization. This has motivated collaborative training across institutions via federated learning (FL)-a privacy-preserving framework that aggregates model updates instead of sharing raw data. Conventional FL requires architectural homogeneity, restricting sites from using models tailored to their resources or needs. To address this limitation, we propose FedGAT, a model-agnostic FL technique that first collaboratively trains a global generative prior for MR images, adapted from a natural image foundation model composed of a variational autoencoder (VAE) and a transformer that generates images via spatial-scale autoregression. We fine-tune the transformer module after injecting it with a lightweight site-specific prompting mechanism, keeping the VAE frozen, to efficiently adapt the model to multi-site MRI data. In a second tier, each site independently trains its preferred reconstruction model by augmenting local data with synthetic MRI data from other sites, generated by site-prompting the tuned prior. This decentralized augmentation improves generalization while preserving privacy. Experiments on multi-institutional datasets show that FedGAT outperforms state-of-the-art FL baselines in both within- and cross-site reconstruction performance under model-heterogeneous settings.

研究の動機と目的

• 多様なサイト固有アーキテクチャを持つプライバシー保護型のマルチサイトMRI再構成の必要性を動機づける。
• ローカルモデル設計から知識伝達を切り離す、モデルに依存しないFLフレームワークを開発する。
• サイトプロンプト付き生成的自己回帰トランスフォーマー事前学習を提案し、マルチサイトMR画像を合成する。
• サイト固有の再構成モデルが、ローカルデータと他サイトからの合成データを組み合わせたハイブリッドデータセットで訓練できるようにする。
• FedGATを複数機関のMRIデータセットで評価し、標準的なFLベースラインと比較する。

提案手法

• FedGATを導入する。グローバルGAT事前学習がマルチサイト画像分布を学習する二層FLフレームワーク（Tier 1）。
• サイトプロンプト付きGAT事前学習は、VAEエンコーダ/デコーダと自己回帰トランスフォーマーを組み合わせてサイト条件付きMR画像を生成する（サイトプロンプトが合成を誘導）。
• Tier 2として、ローカルデータとGAT事前学習によって生成された合成データを含むハイブリッドデータセットでサイト固有の再構成モデルを訓練する。
• サイト間知識伝達をローカルモデル訓練から分離し、サイト間でのモデル異質性をサポートする。
• GAT事前学習には二部の損失を使用する：VAE再構成/潜在損失と自己回帰トランスフォーマーの交差エントロピー損失、グローバルGATには連邦平均（Alg. 1）を適用。
• 推論時には核サンプリングを用いた多尺度トークンベース自己回帰プロセスでMR画像を合成し、AdaLNを用いてトランスフォーマー出力をサイトトークンで条件付けする。

Figure 1: FedGAT devises a two-tier strategy to collaboratively train heterogeneous models for MRI reconstruction. (a) The first tier conducts decentralized training of a global prior $\text{GAT}_{\theta_{\text{GAT}}}$ that captures the distribution of multi-site MR images. The global prior is built

実験結果

リサーチクエスチョン

• RQ1 モデルが異種のサイトを含むことで、単一のグローバルモデルにアーキテクチャを制約せずに連邦MRI再構成に参加できるか？
• RQ2 globally learned generative autoregressive priorは、サイト特有の性能を保ちながら効果的なサイト間知識伝達を可能にするか？
• RQ3 ハイブリッドローカル＋合成データで訓練されたサイト固有の再構成モデルは、MRI再構成において従来のFLベースラインよりも優れているか？
• RQ4 提案されたサイトプロンプト付きGAT事前学習は、複数のスケールで高忠実度かつサイト一貫性のMR画像を生成できるか？
• RQ5 FedGATは、同等の先端FLベースラインと比較して、サイト内およびサイト間の再構成タスクでどのような性能を示すか？

主な発見

• FedGATは、グローバル知識伝達をローカルモデル訓練から切り離すことでMRI再構成のモデル異質FLを実現する。
• サイトプロンプト付きGAT事前学習（VAE + 自己回帰トランスフォーマー）は、サイトプロンプトに条件付けられた多サイトMR画像を合成する。
• ローカル再構成モデルはローカルデータで事前訓練され、他サイトからの合成データを含むハイブリッドデータセットでファインチューニングされる。
• 包括的な実験により、FedGATは従来の最先端FLベースラインと比較してサイト内およびサイト間の再構成性能が優れていることが示された。
• FedGATのコードは著者のリポジトリで入手可能。

Figure 2: Architecture of the proposed site-prompted GAT prior. (a) The GAT prior embodies a variational autoencoder (VAE), whose encoder module maps an input MR image onto a set of discrete token maps $\mathbf{f}_{1},\mathbf{f}_{2},\dots,\mathbf{f}_{S}$ across $S$ spatial scales, and whose decoder