[論文レビュー] Multi-institutional Collaborations for Improving Deep Learning-based Magnetic Resonance Image Reconstruction Using Federated Learning

Pengfei Guo, Puyang Wang+3 more|arXiv (Cornell University)|Mar 3, 2021

Privacy-Preserving Technologies in Data参考文献 41被引用数 13

ひとこと要約

本論文は、多施設のMRI再構成を目的としたフェデレーテッドラーニングフレームワーク（FL-MRCM）を提案する。このフレームワークは、異なる施設間での潜在的特徴分布を揃えることでドメインシフトを克服し、プライバシーを守った協働学習を可能にする。本手法は最先端の性能を達成し、4つの多様なMRIデータセットにおいて、中央集権的学習のベースラインと同等の性能を発揮する一方で、データのプライバシーを保持する。

ABSTRACT

Fast and accurate reconstruction of magnetic resonance (MR) images from under-sampled data is important in many clinical applications. In recent years, deep learning-based methods have been shown to produce superior performance on MR image reconstruction. However, these methods require large amounts of data which is difficult to collect and share due to the high cost of acquisition and medical data privacy regulations. In order to overcome this challenge, we propose a federated learning (FL) based solution in which we take advantage of the MR data available at different institutions while preserving patients' privacy. However, the generalizability of models trained with the FL setting can still be suboptimal due to domain shift, which results from the data collected at multiple institutions with different sensors, disease types, and acquisition protocols, etc. With the motivation of circumventing this challenge, we propose a cross-site modeling for MR image reconstruction in which the learned intermediate latent features among different source sites are aligned with the distribution of the latent features at the target site. Extensive experiments are conducted to provide various insights about FL for MR image reconstruction. Experimental results demonstrate that the proposed framework is a promising direction to utilize multi-institutional data without compromising patients' privacy for achieving improved MR image reconstruction. Our code will be available at https://github.com/guopengf/FLMRCM.

研究の動機と目的

• 生データを共有せずに、深層学習ベースのMRI再構成におけるデータ不足とプライバシー懸念を解決する多施設連携を可能にする。
• フェデレーテッドラーニング環境下で、スキャナーやプロトコル、患者集団の違いに起因するドメインシフトを軽減する。
• ソースサイトとターゲットサイト間の間隔特徴を統一することで、フェデレーテッドMRI再構成におけるモデルの一般化性能を向上させる。
• クロスサイトモデリングが、データプライバシーを損なわずにフェデレーテッドラーニングにおける性能を向上させることを実証する。

提案手法

• 各施設が自らのプライベートデータ上で局所的な再構成ネットワークを学習し、中央サーバーにモデルパラメータのみを送信するフェデレーテッドラーニングフレームワークを設計する。
• クロスサイトモデリング部を導入し、敵対的学習を用いてソースサイトの潜在的特徴分布をターゲットサイトのものと一致させる。
• ドメイン識別器を訓練し、ソースドメインとターゲットドメインの特徴を区別させることで、局所ネットワークがドメイン不変の表現を生成するよう促進する。
• グローバルモデルはFedAvgに類似した集約手法で更新され、局所モデルはドメイン敵対的損失を用いて微調整され、一致を向上させる。
• ターゲットサイトの潜在的特徴を基準分布として用い、ソースサイトの特徴一致をガイドすることで、ドメインシフトを低減する。
• 再構成損失と敵対的ドメイン損失の両方を最適化するエンドツーエンドの学習により、画像品質とドメイン不変性を両立させる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングが、患者データのプライバシーを守りながら、多施設のMRI再構成に効果的に協働を可能にすることができるか？
• RQ2 施設間でのドメインシフトが、フェデレーテッドMRI再構成モデルの一般化性能にどのように影響を与えるか？
• RQ3 生データを共有せずに、クロスサイト特徴一致を実現することで、フェデレーテッドMRI再構成のモデル性能を向上させることができるか？
• RQ4 提案手法が、多様なMRIデータセットにおいて、中央集権的学習の性能にどの程度近づけるか？

主な発見

• 提案されたFL-MRCMフレームワークは、最先端の性能を達成し、fastMRI、HPKS、IXI、BraTSの4つのデータセットすべてで、中央集権的学習の上限性能と同等の結果を示した。
• HPKSデータセットでは、$T_2$強調画像においてSSIMが0.9001から0.9232に、PSNRが31.29から32.44に向上し、特に小規模なデータセットで顕著な向上が確認された。
• アブレーションスタディの結果、クロスサイトモデリングは、すべての施設間移行において一貫して性能向上をもたらし、平均でSSIMが最大0.04、PSNRが最大1.5 dB向上した。
• t-SNE可視化により、本手法が施設間で潜在的特徴を効果的に統一しており、ドメイン固有のクラスタリングを低減させ、一般化性能を向上させていることが確認された。
• 単一施設モデルを上回る性能を発揮し、完全に中央集権的に学習されたモデルと同等の結果を得ており、プライバシー保護型協働学習の有効性が裏付けられた。