[論文レビュー] Hypernetwork-based Personalized Federated Learning for Multi-Institutional CT Imaging

Ziyuan Yang, Wenjun Xia+4 more|arXiv (Cornell University)|Jun 8, 2022

Medical Imaging Techniques and Applications参考文献 48被引用数 11

ひとこと要約

本稿では、複数機関のCT画像再構成を対象とした、ハイパーネットベースのパーソナライズドフェデレーテッドラーニングフレームワークであるHyperFedを提案する。このフレームワークは、グローバル特徴学習と機関固有のデータ適合を分離することで、データプライバシーを保護しつつ、非IIDなデータ分布に対しても効果的に対処する。機関固有のハイパーネットを用いてグローバル共有画像ネットワークの調整パラメータを生成することで、HyperFedは最先端の再構成品質を達成するとともに、データプライバシーを保持する。

ABSTRACT

Computed tomography (CT) is of great importance in clinical practice due to its powerful ability to provide patients' anatomical information without any invasive inspection, but its potential radiation risk is raising people's concerns. Deep learning-based methods are considered promising in CT reconstruction, but these network models are usually trained with the measured data obtained from specific scanning protocol and need to centralizedly collect large amounts of data, which will lead to serious data domain shift, and privacy concerns. To relieve these problems, in this paper, we propose a hypernetwork-based federated learning method for personalized CT imaging, dubbed as HyperFed. The basic assumption of HyperFed is that the optimization problem for each institution can be divided into two parts: the local data adaption problem and the global CT imaging problem, which are implemented by an institution-specific hypernetwork and a global-sharing imaging network, respectively. The purpose of global-sharing imaging network is to learn stable and effective common features from different institutions. The institution-specific hypernetwork is carefully designed to obtain hyperparameters to condition the global-sharing imaging network for personalized local CT reconstruction. Experiments show that HyperFed achieves competitive performance in CT reconstruction compared with several other state-of-the-art methods. It is believed as a promising direction to improve CT imaging quality and achieve personalized demands of different institutions or scanners without privacy data sharing. The codes will be released at https://github.com/Zi-YuanYang/HyperFed.

研究の動機と目的

• 中央集権的なデータ収集を避けることで、複数機関のCT画像診断におけるプライバシー懸念とデータ共有制限を解消すること。
• 機関間のスキャナーやプロトコルの違いに起因するCT画像診断における固有の非IIDデータ分布問題を克服すること。
• グローバルモデルの安定性を損なわず、各機関に特化した高品質な画像再構成を実現するパーソナライズドCT再構成を可能にすること。
• プライバシーを保護しつつ、ハイパーネットを用いたパーソナライズドを統合したフェデレーテッドラーニングフレームワークを構築すること。
• 提案手法が、再構成品質と耐性の両面で、中央集権的および標準的なフェデレーテッドラーニングベースラインを上回ることを実証すること。

提案手法

• 最適化を二つの部分に分解する：普遍的特徴を学習するグローバル共有画像ネットワークと、機関固有のパーソナライズドを実現する機関固有のハイパーネット。
• 機関固有のハイパーネットはスキャンパラメータを入力とし、各機関の固有のデータ分布に適合するように、グローバル画像ネットワークの調整パラメータを生成する。
• グローバル画像ネットワークは、すべての機関からの勾配を用いてフェデレーテッドアベーリージングにより訓練され、モデルの安定性と一般化性能が保証される。
• ハイパーネットは各機関でローカルに訓練され、グローバル集約に参加しないため、プライバシーが保護され、ドメイン特化の適応が可能になる。
• 二段階のトレーニングプロセスを採用する：まず、グローバル画像ネットワークを大規模データセットで事前学習し、次に、各機関のローカルデータを用いてハイパーネットをファインチューニングする。
• 本手法は、画像再構成のバックボーンネットワークとしてRED-CNNを採用し、PSNRおよびSSIM指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットベースのフェデレーテッドラーニングフレームワークは、複数機関のCT画像再構成において、パーソナライズドとモデル安定性の両立を効果的に果たせるか？
• RQ2 提案されたHyperFed手法は、中央集権的および標準的なフェデレーテッドラーニングベースラインと比較して、画像品質と耐性の面でどの程度優れているか？
• RQ3 ローカルデータが限られた状況下で、機関固有のハイパーネットは再構成品質をどの程度向上させられるか？
• RQ4 グローバル特徴学習とローカル適応の分離は、CT画像診断における非IIDデータ分布の影響を軽減するか？
• RQ5 スキャンプロトコルやデータサイズが異なる機関に対しても、本フレームワークは高いパフォーマンスを維持できるか？

主な発見

• 大規模トレーニングセットにおいて、HyperFedは全機関でPSNR 38.44、SSIM 0.9520を達成し、FedAvg（PSNR 36.99）、FedProx（PSNR 37.30）、非FLベースライン（PSNR 37.71）を上回った。
• 機関固有の評価では、HyperFedはそれぞれInstitution #1でPSNR 39.17、Institution #2でPSNR 39.07、Institution #5でPSNR 39.41を達成し、他の手法を一貫して上回った。
• 小さなローカルデータセットでも、HyperFedは競争力あるパフォーマンスを維持したが、非FLベースラインはデータが限られたため細部が損なわれた。
• FedAvg や FedProx などのFLベース手法は、データ量が増えると安定性とパフォーマンスが向上したが、依然として最適なローカル再構成品質に達しなかった。
• ボックスプロットおよびプロファイル解析から、HyperFedは全機関で一貫した優れたパフォーマンスを示しており、強力な耐性とパーソナライズド性能を裏付けた。
• 本手法は、生データやハイパーネットの勾配を共有しないことで、CT画像診断における非IID問題を効果的に緩和した。