[논문 리뷰] One Model to Unite Them All: Personalized Federated Learning of Multi-Contrast MRI Synthesis

Onat Dalmaz, Muhammad Usama Mirza외 6명|arXiv (Cornell University)|2022. 07. 13.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 다중 대비 MRI 합성에 대한 개인화된 피어드 학습 프레임워크인 pFLSynth를 제안한다. 이 프레임워크는 병원 간 데이터 이질성으로 인한 도메인 이탈 문제를 다루며, 병원 및 대비별로 특화된 잠재변수와 부분적 모델 집합을 통한 적응형 개인화 블록을 사용하여, 다중 병원 MRI 데이터셋에서 기존 피어드 학습 방법보다 뛰어난 일반화 능력과 성능을 달성한다.

ABSTRACT

Multi-institutional collaborations are key for learning generalizable MRI synthesis models that translate source- onto target-contrast images. To facilitate collaboration, federated learning (FL) adopts decentralized training and mitigates privacy concerns by avoiding sharing of imaging data. However, FL-trained synthesis models can be impaired by the inherent heterogeneity in the data distribution, with domain shifts evident when common or variable translation tasks are prescribed across sites. Here we introduce the first personalized FL method for MRI Synthesis (pFLSynth) to improve reliability against domain shifts. pFLSynth is based on an adversarial model that produces latents specific to individual sites and source-target contrasts, and leverages novel personalization blocks to adaptively tune the statistics and weighting of feature maps across the generator stages given latents. To further promote site specificity, partial model aggregation is employed over downstream layers of the generator while upstream layers are retained locally. As such, pFLSynth enables training of a unified synthesis model that can reliably generalize across multiple sites and translation tasks. Comprehensive experiments on multi-site datasets clearly demonstrate the enhanced performance of pFLSynth against prior federated methods in multi-contrast MRI synthesis.

연구 동기 및 목표

• 영상 촬영 프로토콜과 하드웨어의 차이로 인한 다중 병원 MRI 합성에서의 데이터 이질성 문제를 해결하기 위해.
• 기관 간 신뢰할 수 있는 모델 훈련을 가능하게 하면서도 기밀성을 유지하는 피어드 학습 프레임워크를 개발하기 위해.
• 암시적(프로토콜/하드웨어) 및 명시적(다양한 원천-대상 대비) 도메인 이탈에 대한 모델 일반화 능력을 향상시키기 위해.
• 단일 통합 모델이 병원 간 다양한 번역 작업을 수행하면서도 병원별 성능을 훼손하지 않도록 하기 위해.
• 부분 네트워크 집합을 통해 모델 개인화를 유지하면서도 통신 비용을 줄이기 위해.

제안 방법

• 통합 생성적 적대적 네트워크(CycleGAN 기반)를 사용하여 도메인 분포 이탈을 모델링하고, 병원 및 대비별로 특화된 잠재 코드를 적용한다.
• 개인화 블록은 병원-대비 잠재변수를 이용해 생성기 단계의 특징 맵 통계 및 가중치를 적응적으로 조절한다.
• 부분적 모델 집합은 생성기의 하류 레이어에만 적용되며, 상류 레이어는 현지에 유지되어 병원 특화 기능을 보존한다.
• 로컬 모델 업데이트와 주기적인 글로벌 집합을 수행하는 피어드 평균(FedAvg) 훈련 프로토콜을 사용한다.
• 병원별 잠재변수는 글로벌 병원 인덱스가 필요 없는 로컬 매핑 네트워크를 통해 학습된다.
• 판별기는 병원 간 공유되지 않아 기밀성 향상과 통신 오버헤드 감소에 기여한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 분포를 가진 다수의 MRI 병원에서 암시적 데이터 이질성에 대응할 수 있는 단일 통합 모델이 안정적으로 일반화될 수 있는가?
• RQ2 개인화된 피어드 학습은 암시적 및 명시적 도메인 이탈 상황에서 MRI 합성 성능을 어떻게 향상시킬 수 있는가?
• RQ3 부분적 모델 집합이 피어드 MRI 합성에서 성능과 통신 효율성에 미치는 영향은 무엇인가?
• RQ4 데이터 공유 없이도 병원 및 대비별 잠재변수로 국소 분포 이탈을 효과적으로 포착할 수 있는가?
• RQ5 합성 품질과 통신 효율성 측면에서 pFLSynth는 중심화된 모델 및 기타 피어드 기반 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• pFLSynth는 다중 병원 MRI 합성 작업에서 중심화된 기준 모델과 유사한 성능을 달성한다.
• pFLSynth는 모든 피어드 기반 모델(FedGAN, FedMRI, FedMM, FedMed, FedCycle)보다 합성 품질에서 뛰어나며, 신호 대 노이즈 비율(PSNR)이 18.75에 이른다.
• 라운드당 통신 부하가 652만 개의 파라미터로 감소하여 FedGAN(1151만)과 FedCycle(999만)보다 크게 낮아졌다.
• 로컬 모델 복잡도는 1427만 개의 파라미터로, 배포에 적합한 효율적인 모델 크기를 나타낸다.
• pFLSynth에서는 활성화 맵 유사도가 평균 스피어만의 라이는 0.85로 기준 모델보다 높아, 더 나은 특징 일관성을 보였다.
• 지속적인 성능 유지와 확장성 확보를 위해 늦게 참여하는 병원이 추가된 상황에서도 강건한 성능을 유지를 하였다.