[論文レビュー] Multi-Institutional Deep Learning Modeling Without Sharing Patient Data: A Feasibility Study on Brain Tumor Segmentation

Micah Sheller, G. Anthony Reina+3 more|arXiv (Cornell University)|Oct 10, 2018

Privacy-Preserving Technologies in Data参考文献 13被引用数 19

ひとこと要約

本研究では、患者データの共有を伴わずに多施設脳腫瘍セグメンテーションを実現するフェデレーテッドラーニング（FL）を提案する。これにより、データプライバシーを保ちながら共同でのディープラーニングが可能になる。FLはDiceスコア0.852を達成し、中央集権的トレーニング（Dice=0.862）の99％の性能を発揮し、機関単位のインクリメンタルラーニングやサイクルインクリメンタルラーニングといった代替手法を上回る性能を示した。

ABSTRACT

Deep learning models for semantic segmentation of images require large amounts of data. In the medical imaging domain, acquiring sufficient data is a significant challenge. Labeling medical image data requires expert knowledge. Collaboration between institutions could address this challenge, but sharing medical data to a centralized location faces various legal, privacy, technical, and data-ownership challenges, especially among international institutions. In this study, we introduce the first use of federated learning for multi-institutional collaboration, enabling deep learning modeling without sharing patient data. Our quantitative results demonstrate that the performance of federated semantic segmentation models (Dice=0.852) on multimodal brain scans is similar to that of models trained by sharing data (Dice=0.862). We compare federated learning with two alternative collaborative learning methods and find that they fail to match the performance of federated learning.

研究の動機と目的

• プライバシー、法的制約、データ所有権の壁により、ディープラーニングのための十分なラベル付き医療画像データを入手することが困難であるという課題に対処すること。
• 多施設医療画像共同研究における中央集権的データ共有の代替手段として、プライバシーを守るフェデレーテッドラーニングの有効性を評価すること。
• 性能と安定性の観点から、フェデレーテッドラーニング（FL）を、機関単位のインクリメンタルラーニング（IIL）およびサイクル機関インクリメンタルラーニング（CIIL）という2つの代替協働学習手法と比較すること。
• 生の患者データを施設間で転送せずに、マルチモodal脳MRIデータ上で高精度なセマンティックセグメンテーションモデルをトレーニングする可能性を実証すること。

提案手法

• フェデレーテッドラーニングはU-Netアーキテクチャを用いて実装され、各機関が自らのデータ上で局所的にモデルをトレーニングし、中央サーバーにモデルの更新（勾配）のみを送信する。
• 中央サーバーは、各機関のデータセットサイズに比例する重みを用いて、これらのモデル更新を重み付き平均で集約する。
• 更新されたグローバルモデルは、次のラウンドの局所トレーニングのためにすべての機関に再配布され、フェデレーテッドラウンドを形成する。
• 学習率（5e-4）、バッチサイズ（64）、Adam最適化手法といったハイパーパrameterは、すべての実験で一貫して使用される。
• 4～32機関のシミュレーテッドフェデレーションをさまざまな条件で評価し、実世界の機関のデータサイズに即した不均衡なデータ分布を反映する。
• 微分プライバシーを追加のプライバシー対策として検討したが、トレーニングの遅延が懸念されたため、本研究では完全に実装されていない。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、生の患者データを共有せずに、多施設脳腫瘍セグメンテーションにおいて中央集権的トレーニングと同等の性能を達成できるか？
• RQ2 フェデレーテッドラーニングは、IIL や CIIL といった代替協働学習手法と比較して、モデル性能とトレーニングの安定性においてどのように異なるか？
• RQ3 実世界の医療画像共同研究で一般的な小規模で不均衡なデータセットを持つ多数の機関に対しても、フェデレーテッドラーニングは効果的にスケーリングできるか？
• RQ4 各機関のデータが限られている場合（例：1機関あたり6例）、フェデレーテッドラーニングは高い性能を維持できるか？
• RQ5 機関数や1ラウンドあたりのエポック数が異なる条件下でのフェデレーテッドラーニングの収束ダイナミクスと安定性の特徴は何か？

主な発見

• フェデレーテッドラーニングはDiceスコア0.852を達成し、中央集権的トレーニング（Dice=0.862）の99％の性能を示した。これは、プライバシー保護型協働学習の強力な妥当性を示している。
• 機関単位のインクリメンタルラーニング（IIL）はFLに比べて著しく性能が低く、効果的な多施設モデルトレーニングには不適切であることが示された。
• サイクル機関インクリメンタルラーニング（CIIL）はFLに比べて安定性が低く、完全なバリデーションを頻繁に実施する必要があり、通信コストと計算コストが増加した。
• FLは、16機関および32機関のさまざまな機関数において一貫した収束を示したが、1機関あたりのサンプル数が少ないほどモデルの変化量（delta）が小さくなり、収束速度が遅くなった。
• FLと比較して、CIILのモデル性能の標準偏差は10倍も高かった。これは、FLの優れた安定性を強力に示している。
• データの不均衡や1機関あたりの小規模なサンプル数（例：1機関あたり6例）にもかかわらず、FLは高い性能を維持した。これは、現実のデータ分布の課題に強く対応できるという柔軟性を示している。