[論文レビュー] Specificity-Preserving Federated Learning for MR Image Reconstruction

Chun-Mei Feng, Yunlu Yan+4 more|arXiv (Cornell University)|Dec 9, 2021

MRI in cancer diagnosis被引用数 11

ひとこと要約

本論文は、k空間および画像空間の両方でグローバルに共有されるエンコーダーとクライアント固有のデコーダーに分離することで、特異性を保持するフェデレーテッドラーニングフレームワークであるFedMRIを提案する。局所的勾配のずれを是正するための重み付きコントラスト正則化を導入することで、異機関データ上で最先端の再構成性能を達成するとともに、ドメイン固有のスキャナ特性を保持する。

ABSTRACT

Federated learning (FL) can be used to improve data privacy and efficiency in magnetic resonance (MR) image reconstruction by enabling multiple institutions to collaborate without needing to aggregate local data. However, the domain shift caused by different MR imaging protocols can substantially degrade the performance of FL models. Recent FL techniques tend to solve this by enhancing the generalization of the global model, but they ignore the domain-specific features, which may contain important information about the device properties and be useful for local reconstruction. In this paper, we propose a specificity-preserving FL algorithm for MR image reconstruction (FedMRI). The core idea is to divide the MR reconstruction model into two parts: a globally shared encoder to obtain a generalized representation at the global level, and a client-specific decoder to preserve the domain-specific properties of each client, which is important for collaborative reconstruction when the clients have unique distribution. Such scheme is then executed in the frequency space and the image space respectively, allowing exploration of generalized representation and client-specific properties simultaneously in different spaces. Moreover, to further boost the convergence of the globally shared encoder when a domain shift is present, a weighted contrastive regularization is introduced to directly correct any deviation between the client and server during optimization. Extensive experiments demonstrate that our FedMRI's reconstructed results are the closest to the ground-truth for multi-institutional data, and that it outperforms state-of-the-art FL methods.

研究の動機と目的

• 異機関間のスキャンプロトコルやハードウェアの不均一性に起因するドメインシフト問題に対処する。
• 従来のフェデレーテッドラーニングにおけるモデル平均化によって失われる、クライアント固有の画像特性（例：スキャナ固有の特性）を保持する。
• k空間および画像空間の両方で最適化することにより、局所的再構成忠実度を損なわずにグローバルモデルの一般化性能を向上させる。
• 繰り返しのクライアント間アライメントを回避し、通信オーバーヘッドを低減する軽量で効率的な学習メカニズムを開発する。

提案手法

• MR再構成モデルをグローバルに共有されるエンコーダーとクライアント固有のデコーダーに分解し、一般化された特徴とドメイン固有の特徴の共同学習を可能にする。
• k空間（周波数領域）と画像空間の両方で同時にモデル学習を実行し、補完的な表現を捉える。
• 最適化中の局所的勾配のずれを是正するため、特徴ではなくモデル重み同士を比較する重み付きコントラスト正則化項を導入する。
• 特徴ベースのコントラスト正則化学習で一般的に必要な大規模バッチに依存しないように、重み付きコントラスト損失にL1ノルムを用いることで、ロバスト性と収束性を向上させる。
• コントラスト正則化を組み込んだクライアント平均化更新ルールを用いて共有エンコーダーを学習し、局所的更新を共通のグローバル表現に一致させる。
• モデル共有をエンコーダーおよび最初のダウンサンプリング層に限定することで、デコーダーにおけるクライアント固有情報の保持を図る。

Figure 1: ​ ${}_{\!}$ Classical FL algorithm for MR image reconstruction: (a) average all the local client models to obtain a general global model [ 9 ] , or (b) repeatedly align the latent features between the source and target clients [ 13 ] . In contrast, we propose a specificity-preserving mecha

実験結果

リサーチクエスチョン

• RQ1 ドメインシフト下でクライアント固有の画像特性を保持することで、フェデレーテッドMR画像再構成における再構成品質が向上するか？
• RQ2 k空間および画像空間の両方で最適化することで、単一空間での学習に比べてより良い一般化性能と忠実度が得られるか？
• RQ3 特徴レベルのアライメントや大規模バッチに依存せずに、重みベースのコントラスト正則化機構が局所的勾配のずれを効果的に是正できるか？
• RQ4 共有モデルパラメータの割合が、フェデレーテッド環境下での再構成性能とプライバシー保護にどのように影響するか？

主な発見

• FedMRIは、FedAvg、FedProx、FL-MRCMを含む最先端のFL手法を上回る、多機関MRデータセットにおいて最高のPSNRおよびSSIMスコアを達成した。
• アブレーションスタディの結果、全ローカルモデルを共有する設定（Ours₁）では性能が低下し、クライアント固有のデコーダーを保持することが不可欠であることが確認された。
• L1ノルムに基づく重み付きコントラスト正則化は、最高の再構成精度を示した—L2に比べ1.53 dB、NT-Xent損失に比べ1.78 dB高い—ドメインシフトへの対処において優位性を示した。
• FedMRIの学習時間は、FedAvgおよびFedBNと同等であり、コントラスト正則化によるわずかな増加にとどまり、実世界での展開に実用的である。
• FL-MRCMで重複する敵対的トレーニングが発生するのを回避することで、通信コストを削減した。
• k空間および画像空間の両方でドメイン固有の特性を保持することで、画像空間での最適化に限定する手法よりも、より正確で頑健な再構成が達成された。

Figure 2: Overview of the FedMRI framework. Instead of averaging all the local client models, a “globally shared encoder” is used to obtain a generalized representation of both frequency and image spaces, and a “client-specific decoder” is used to explore unique domain-specific information of the tw