[논문 리뷰] Multi-institutional Collaborations for Improving Deep Learning-based Magnetic Resonance Image Reconstruction Using Federated Learning

Pengfei Guo, Puyang Wang외 3명|arXiv (Cornell University)|2021. 03. 03.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 13

한 줄 요약

이 논문은 다양한 기관 간 도메인 차이를 보완하고 개인정보 보호를 가능하게 하기 위해 잠재 특징 분포를 정렬하는 연립 학습 프레임워크(FL-MRCM)를 제안한다. 이 방법은 네 가지 다양한 MRI 데이터셋에서 중심화된 학습 기준과 동일한 성능을 달성하면서도 데이터 기밀성을 유지한다.

ABSTRACT

Fast and accurate reconstruction of magnetic resonance (MR) images from under-sampled data is important in many clinical applications. In recent years, deep learning-based methods have been shown to produce superior performance on MR image reconstruction. However, these methods require large amounts of data which is difficult to collect and share due to the high cost of acquisition and medical data privacy regulations. In order to overcome this challenge, we propose a federated learning (FL) based solution in which we take advantage of the MR data available at different institutions while preserving patients' privacy. However, the generalizability of models trained with the FL setting can still be suboptimal due to domain shift, which results from the data collected at multiple institutions with different sensors, disease types, and acquisition protocols, etc. With the motivation of circumventing this challenge, we propose a cross-site modeling for MR image reconstruction in which the learned intermediate latent features among different source sites are aligned with the distribution of the latent features at the target site. Extensive experiments are conducted to provide various insights about FL for MR image reconstruction. Experimental results demonstrate that the proposed framework is a promising direction to utilize multi-institutional data without compromising patients' privacy for achieving improved MR image reconstruction. Our code will be available at https://github.com/guopengf/FLMRCM.

연구 동기 및 목표

• 딥러닝 기반 MRI 재구성에서의 데이터 부족과 기밀 문제를 해결하기 위해 원자료를 공유하지 않고 다수 기관 간 협업을 가능하게 한다.
• 연립 학습 환경에서 기기, 프로토콜, 환자 집단의 차이로 인한 도메인 이동 문제를 완화한다.
• 원천 및 대상 기관 간 중간 잠재 특징을 정렬함으로써 연립 MRI 재구성에서 모델의 일반화 능력을 향상시킨다.
• 원격 기관 간 모델링이 데이터 기밀성을 훼손하지 않으면서도 연립 학습에서 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 각 기관이 자체 비공개 데이터로 국지적 재구성 네트워크를 학습하고, 중앙 서버에 모델 파라미터만 공유하는 연립 학습 프레임워크를 설계한다.
• 원격 기관 간 특징 정렬을 위해 원천 기관의 잠재 특징 분포를 대상 기관의 특징 분포와 일치시키는 원격 모델링 구성 요소를 도입한다.
• 도메인 구분자(판별자)를 학습시켜 원천 및 대상 도메인 특징를 구분하게 하여, 국지 네트워크가 도메인 불변 표현을 생성하도록 유도한다.
• FedAvg 유사 평균화를 통해 글로벌 모델을 갱신하며, 도메인 적응형 손실을 사용해 국지 모델을 보정함으로써 정렬 성능을 향상시킨다.
• 대상 기관의 잠재 특징을 기준 분포로 사용하여 원천 기관의 특징 정렬을 유도함으로써 도메인 이동을 감소시킨다.
• 재구성 손실과 도메인 적응형 손실을 함께 최적화하여 종합적인 이미지 품질과 도메인 불변성을 확보하는 엔드 투 엔드 학습 프로세스를 구현한다.

실험 결과

연구 질문

• RQ1 연립 학습을 통해 원자료를 공유하지 않고도 다수 기관 간 MRI 재구성 협업을 효과적으로 수행할 수 있는가?
• RQ2 기관 간 도메인 이동이 연립 MRI 재구성 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 원자료 공유 없이도 원격 기관 간 특징 정렬이 연립 MRI 재구성 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 다양한 MRI 데이터셋에서 중심화된 학습 성능에 얼마나 가까이 도달하는가?

주요 결과

• 제안된 FL-MRCM 프레임워크는 네 가지 데이터셋(fastMRI, HPKS, IXI, BraTS)에서 중심화된 학습의 상한 성능에 도달하는 최신 기술 성능을 달성한다.
• HPKS 데이터셋에서 $T_2$-웨이트 시퀀스에서 SSIM은 0.9001에서 0.9232로 향상되고 PSNR는 31.29에서 32.44로 상승하여, 소규모 데이터셋에서 뚜렷한 성능 향상을 보였다.
• 제거 실험 결과, 원격 기관 간 이동 전이 전반에 걸쳐 원격 모델링이 일관되게 성능 향상을 이끌었으며, 평균 SSIM 향상은 최대 0.04, PSNR 향상은 최대 1.5 dB에 달했다.
• t-SNE 시각화 결과, 제안된 방법이 기관 간 잠재 특징을 성공적으로 정렬했으며, 도메인 특화 클러스터링을 감소시키고 일반화 능력을 향상시켰다.
• 단일 기관 모델보다 우수한 성능을 보였고, 완전히 중심화된 데이터로 학습된 모델과 유사한 결과를 도출하여, 개인정보 보호 협업의 효과성을 입증했다.