[論文レビュー] Fed-Sim: Federated Simulation for Medical Imaging

Daiqing Li, Amlan Kar+3 more|arXiv (Cornell University)|Sep 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 6

ひとこと要約

Fed-Sim は、GAN を用いた生成モデルを用いて解剖学的形状と画像診断特性を分離することで、プライバシー制約や規制のためデータ共有が制限される多様な病院間で、頑健なセグメンテーションを実現するフェデレーテッドシミュレーションフレームワークを提案する。分散データで学習し、分布外のケースをシミュレートすることで、最先端の一般化性能を達成し、Ours-Sim-FL はシミュレートされた病院間データで平均 Dice スコア 87.95% を達成した。

ABSTRACT

Labelling data is expensive and time consuming especially for domains such as medical imaging that contain volumetric imaging data and require expert knowledge. Exploiting a larger pool of labeled data available across multiple centers, such as in federated learning, has also seen limited success since current deep learning approaches do not generalize well to images acquired with scanners from different manufacturers. We aim to address these problems in a common, learning-based image simulation framework which we refer to as Federated Simulation. We introduce a physics-driven generative approach that consists of two learnable neural modules: 1) a module that synthesizes 3D cardiac shapes along with their materials, and 2) a CT simulator that renders these into realistic 3D CT Volumes, with annotations. Since the model of geometry and material is disentangled from the imaging sensor, it can effectively be trained across multiple medical centers. We show that our data synthesis framework improves the downstream segmentation performance on several datasets. Project Page: https://nv-tlabs.github.io/fed-sim/ .

研究の動機と目的

• プライバシーおよび規制上の制約により、データ共有が制限される病院間で、頑健な医療画像セグメンテーションモデルを学習する課題に対処すること。
• ある病院の患者が別の病院でスキャンされた場合に相当する分布外のケースをシミュレートすること。
• 生データを共有しないことでプライバシーを保護する、協調学習可能なフェデレーテッドラーニングフレームワークを構築すること。
• 合成データ生成において、解剖学的形状を画像特性（例：CTコントラスト、ノイズ）から分離することで、モデルの一般化性能を向上させること。
• 実世界の分布シフトを模倣する、シミュレートされた病院間データを用いた、手法の頑健性を検証すること。

提案手法

• 形状と素材を別々の潜在空間に分離する、解釈可能な GAN に基づく生成モデルを採用。形状用に MLP を用いた $G_{\theta_S}$、素材用に 3D 全結合畳み込みネットワーク（最近傍補間を用いる）を用いた $G_{\theta_M}$ を別々に生成。
• 形状モデリングは、20例の心臓MRIセグメンテーションに主成分分析（PCA）を適用し、14個の主成分で表される統計的形状モデルを学習。パラメータは $s \approx \tilde{s} + \Phi b$ で表される。
• 素材生成には、バッチ正則化と ReLU を用いた 3D U-Net アーキテクチャを採用。チェッカーボードアーチファクトを回避するため最近傍補間を用い、$16\times16\times16$ ボリュームを生成。
• 半教師あり学習では、事前学習済み特徴量に適合した多変量正規分布から抽出された潜在ベクトルを用い、ラベル付きデータとラベルなしデータで別々の学習率を設定。
• フェデレーテッドラーニングは、同期的勾配集約を用いて実装。クライアントは局所的に学習し、勾配をサーバーに送信。サーバーは勾配を平均化し、グローバルモデルを更新。
• 本手法には 3 種類のバリエーションを用意：Ours-Fix-Mat（素材を固定）、Ours-Pre（形状を事前学習）、Ours-Full（形状・素材の共同学習）。一般化性能に与える影響をアブレーションで評価。

実験結果

リサーチクエスチョン

• RQ1 生データを共有せずに、医療画像セグメンテーションの一般化性能を向上させるフェデレーテッドシミュレーションフレームワークは、病院間で有効に機能するか？
• RQ2 合成データ生成における形状と素材の分離は、異なる病院の分布外スキャンを処理する上で効果的か？
• RQ3 勾配集約を用いた提案されたフェデレーテッドラーニング設定は、集中学習と同等の性能を達成できるか？
• RQ4 事前学習と分離の選択が、医療画像における分布シフトに対する頑健性に与える影響は何か？
• RQ5 GAN を用いたシミュレートされた病院間データ生成は、実世界のドメインシフトを代替する有効なプロキシとして機能するか？

主な発見

• Ours-Sim-FL は、CT34LC で 87.95%、CT34MC で 87.76% の平均 Dice スコアを達成。直接的な FL ベースライン（それぞれ 87.95% と 87.95%）を上回った。
• Ours-Sim-FL は、CT34LC で 87.95%、CT34MC で 87.76% の平均 Dice スコアを達成し、未観測の病院への一般化性能が顕著に優れていることを示した。
• Ours-Pre は、CT20 で 76.58% の Dice スコアを達成。単一病院の下限（72.56%）を上回り、形状の事前学習の有効性を示した。
• Ours-Full は、CT34MC で 85.93% の平均 Dice スコアを達成。形状と素材の生成において、より高い多様性と一貫性が得られた。
• アブレーションスタディにより、形状と素材の分離が一般化性能の向上に寄与することが確認され、全データセットで一貫した性能向上が観察された。
• 本手法は、すべての分布外テストケースでベースラインを上回るか、同等の性能を示し、フェデレーテッドラーニングにおける分離されたシミュレーションの有効性を裏付けた。