[논문 리뷰] Generative Autoregressive Transformers for Model-Agnostic Federated MRI Reconstruction

Valiyeh Ansarian Nezhad, Gokberk Elmas외 4명|ArXiv.org|2025. 02. 06.

Advanced MRI Techniques and Applications인용 수 5

한 줄 요약

이 논문은 FedGAT를 소개합니다. FedGAT는 MRI 재구성을 위한 모델-중립적인 연합 학습 방식으로, 전역 생성적 자기회귀 트랜스포머 사전을 활용하여 이질적인 사이트 모델을 가능하게 하고 동일 사이트 내외의 재구성 성능을 모두 향상시킵니다.

ABSTRACT

While learning-based models hold great promise for MRI reconstruction, single-site models trained on limited local datasets often show poor generalization. This has motivated collaborative training across institutions via federated learning (FL)-a privacy-preserving framework that aggregates model updates instead of sharing raw data. Conventional FL requires architectural homogeneity, restricting sites from using models tailored to their resources or needs. To address this limitation, we propose FedGAT, a model-agnostic FL technique that first collaboratively trains a global generative prior for MR images, adapted from a natural image foundation model composed of a variational autoencoder (VAE) and a transformer that generates images via spatial-scale autoregression. We fine-tune the transformer module after injecting it with a lightweight site-specific prompting mechanism, keeping the VAE frozen, to efficiently adapt the model to multi-site MRI data. In a second tier, each site independently trains its preferred reconstruction model by augmenting local data with synthetic MRI data from other sites, generated by site-prompting the tuned prior. This decentralized augmentation improves generalization while preserving privacy. Experiments on multi-institutional datasets show that FedGAT outperforms state-of-the-art FL baselines in both within- and cross-site reconstruction performance under model-heterogeneous settings.

연구 동기 및 목표

• 프라이버시를 보장하는 다중 사이트 MRI 재구성의 필요성과 다양한 사이트별 아키텍처의 필요성에 대한 동기를 제시합니다.
• 지식 전이를 로컬 모델 설계와 분리하는 모델-중립적 FL 프레임워크를 개발합니다.
• 다중 사이트 MR 이미지를 합성하기 위해 사이트-프롬프트가 있는 생성적 자기회귀 트랜스포머 사전을 제안합니다.
• 현지 데이터와 다른 사이트의 합성 데이터로 구성된 하이브리드 데이터 세트에서 사이트별 재구성 모델을 학습할 수 있도록 합니다.
• FedGAT를 다기관 MRI 데이터 세트에서 평가하고 표준 FL 베이스라인과 비교합니다.

제안 방법

• 전역 GAT 사전이 다사이트 이미지 분포를 학습하는 두 계층 FL 프레임워크인 FedGAT를 소개합니다(계층 1).
• 사이트-프롬프트가 있는 GAT 사전은 VAE 인코더/디코더와 자기회귀 트랜스포머를 결합하여 사이트 조건부 MR 이미지를 생성합니다(사이트 프롬프트가 합성을 주도합니다).
• Tier 2인 하이브리드 데이터 세트(현지 데이터와 GAT 사전에 의해 생성된 합성 데이터)에서 사이트별 재구성 모델을 학습합니다.
• 사이트 간 지식 전이를 로컬 모델 학습과 분리하여 사이트 간 이질성을 지원합니다.
• GAT 사전에 대한 두 부분 손실: VAE 재구성/잠재 손실과 자기회귀 트랜스포머의 교차 엔트로피 손실, 글로벌 GAT에 대한 연합 평균(Alg. 1)을 사용합니다.
• 추론 시 멀티 스케일 토큰 기반 자기회귀 프로세스로 MR 이미지를 합성하고, 의사 샘플링을 사용하여 AdaLN으로 트랜스포머 출력을 사이트 토큰에 조건부로 설정합니다.

Figure 1: FedGAT devises a two-tier strategy to collaboratively train heterogeneous models for MRI reconstruction. (a) The first tier conducts decentralized training of a global prior $\text{GAT}_{\theta_{\text{GAT}}}$ that captures the distribution of multi-site MR images. The global prior is built

실험 결과

연구 질문

• RQ1 모델 이질적인 사이트가 단일 글로벌 모델로 제약되지 않고도 연합 학습에서 MRI 재구성에 참여할 수 있는가?
• RQ2 전역으로 학습된 생성적 자기회귀 사전이 사이트별 성능을 보존하면서 효과적인 사이트 간 지식 전이를 가능하게 하는가?
• RQ3 현지+합성 데이터 하이브리드에서 학습된 사이트별 재구성 모델이 MRI 재구성에서 일반 FL 베이스라인보다 성능이 뛰어난가?
• RQ4 제안된 사이트-프롬프트가 여러 축에서 고충실도이면서 사이트 일관된 MR 이미지를 생성할 수 있는가?
• RQ5 FedGAT은 현장 내 재구성 및 사이트 간 재구성 작업에서 최첨단 FL 베이스라인과 비교하여 어떤 성능을 보이는가?

주요 결과

• FedGAT은 글로벌 지식 전이를 로컬 모델 학습과 분리함으로써 MRI 재구성을 위한 모델 이질적 FL을 가능하게 합니다.
• 사이트-프롬프트가 있는 GAT 사전(VAE + 자기회귀 트랜스포머)은 사이트 프롬프트에 조건화된 다사이트 MR 이미지를 합성합니다.
• 로컬 재구성 모델은 현지 데이터로 사전 학습되고 다른 사이트의 합성 데이터를 포함하는 하이브리드 데이터 세트에서 미세 조정됩니다.
• 포괄적 실험을 통해 FedGAT은 최첨단 FL 베이스라인에 비해 현장 내 및 사이트 간 재구성 성능이 우수함을 보여줍니다.
• FedGAT 코드가 저자 저장소에 공개되어 있습니다."

Figure 2: Architecture of the proposed site-prompted GAT prior. (a) The GAT prior embodies a variational autoencoder (VAE), whose encoder module maps an input MR image onto a set of discrete token maps $\mathbf{f}_{1},\mathbf{f}_{2},\dots,\mathbf{f}_{S}$ across $S$ spatial scales, and whose decoder