[論文レビュー] Continual Learning for Peer-to-Peer Federated Learning: A Study on Automated Brain Metastasis Identification

Yixing Huang, Christoph Bert+6 more|arXiv (Cornell University)|Apr 26, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本研究では、脳転移巣（BM）セグメンテーションにおけるマルチセンターコラボレーションを可能にする、生体シナプスインテリジェンス（SI）を用いたピアツーピア分散学習フレームワークを提案する。生体シナプスインテリジェンス（SI）を用いて、連続的学習における深刻な忘却を防ぐことで、原始データを共有せずに、7つのセンターシナリオで感度0.914を達成し、混合データを用いた集中学習の性能と同等の結果を得た。通信回数はわずか6回に抑えられた。

ABSTRACT

Due to data privacy constraints, data sharing among multiple centers is restricted. Continual learning, as one approach to peer-to-peer federated learning, can promote multicenter collaboration on deep learning algorithm development by sharing intermediate models instead of training data. This work aims to investigate the feasibility of continual learning for multicenter collaboration on an exemplary application of brain metastasis identification using DeepMedic. 920 T1 MRI contrast enhanced volumes are split to simulate multicenter collaboration scenarios. A continual learning algorithm, synaptic intelligence (SI), is applied to preserve important model weights for training one center after another. In a bilateral collaboration scenario, continual learning with SI achieves a sensitivity of 0.917, and naive continual learning without SI achieves a sensitivity of 0.906, while two models trained on internal data solely without continual learning achieve sensitivity of 0.853 and 0.831 only. In a seven-center multilateral collaboration scenario, the models trained on internal datasets (100 volumes each center) without continual learning obtain a mean sensitivity value of 0.699. With single-visit continual learning (i.e., the shared model visits each center only once during training), the sensitivity is improved to 0.788 and 0.849 without SI and with SI, respectively. With iterative continual learning (i.e., the shared model revisits each center multiple times during training), the sensitivity is further improved to 0.914, which is identical to the sensitivity using mixed data for training. Our experiments demonstrate that continual learning can improve brain metastasis identification performance for centers with limited data. This study demonstrates the feasibility of applying continual learning for peer-to-peer federated learning in multicenter collaboration.

研究の動機と目的

• 医療分野におけるディープラーニングのマルチセンターコラボレーションを制限するデータプライバシー制約に対処すること。
• 脳転移巣セグメンテーションにおけるピアツーピア分散学習における連続的学習の実現可能性を評価すること。
• モデルの精度を保つために、ナードゥ連続的学習とSI正則化連続的学習の性能を比較すること。
• 通信量を低減した分散型学習が、マルチセンターサイチュエーションにおいて集中学習の性能に匹敵することを実証すること。
• 反復的連続的学習（ICL）が、実臨床シナリオにおけるモデルの感度および誤検出率に与える影響を評価すること。

提案手法

• 3D脳転移巣セグメンテーションに、DeepMedic U-NetアーキテクチャをT1強化MRIボリュームで用いる。
• 1つのセンタから得た920例のMRIボリュームを、実世界の協働を模倣するためのシミュレーテッドマルチセンターデータセット（1センタあたり100ボリューム）に分割する。
• 連続的なセンタ間トレーニングにおける重要な重みの保持を目的として、生体シナプスインテリジェンス（SI）を正則化手法として適用する。
• ピアツーピア分散学習は、単回訪問（SVCL）および反復的連続的学習（ICL）戦略を用いて実装され、モデルが各センタを複数回訪問する。
• モデルの性能は、感度、誤検出率（AFPR）、Diceスコアを用いて評価され、統合データを用いた集中学習と比較される。
• すべてのセンタで、頭蓋骨除去、強度正規化、解像度統一化を含む同一の前処理パイプラインを用いることで、ドメインシフトを低減する。

実験結果

リサーチクエスチョン

• RQ1 ピアツーピア分散学習による連続的学習は、原始データを共有せずに集中学習と同等の性能を達成できるか？
• RQ2 生体シナプスインテリジェンス（SI）は、連続的マルチセンタートレーニングにおけるモデルの保持力と性能にどのように寄与するか？
• RQ3 反復的連続的学習（ICL）と単回訪問連続的学習（SVCL）の感度および誤検出率に与える影響は何か？
• RQ4 通信量を低減した分散型学習は、マルチセンターブレインメタスタシスセグメンテーションにおいて、ナードゥ転送学習を上回る性能を示せるか？
• RQ5 センタ間のデータ非同一性下でのモデル性能はどのように変動するか？また、SIはドメインシフトの影響を緩和できるか？

主な発見

• 二重センターライドゥにおいて、SIベースの連続的学習は感度0.917を達成し、ナードゥ連続的学習（0.906）および個別センタートレーニング（0.853および0.831）を上回った。
• 7つのセンタを含むマルチセンターシナリオでは、SIを用いた反復的連続的学習（ICL）が感度0.914に達し、混合データを用いた集中学習の性能と一致した。
• SIを適用しない場合、ICLは感度を0.914まで向上させたが、SIを適用した場合も同様に0.914に達したため、SIはあらゆるトレーニング体制において一貫した向上効果を示した。
• 誤検出率（AFPR）は、ICLベースのすべての手法で0.7未満を維持し、[60]で報告された最先端の水準（0.5）に近づいた。
• ICLにSIを適用した場合、集中学習と同等の感度（0.914）を達成した一方で、センタ間通信はわずか6回に抑えられ、通信コストが極めて低いことが示された。
• 限定的なデータで個別に学習したモデル（平均感度0.699）と比較して、本手法は顕著に優れた性能を示し、協働学習の利点を強力に裏付けた。