[論文レビュー] BrainTorrent: A Peer-to-Peer Environment for Decentralized Federated Learning

Abhijit Guha Roy, Shayan Siddiqui+3 more|arXiv (Cornell University)|May 16, 2019

Privacy-Preserving Technologies in Data参考文献 8被引用数 207

ひとこと要約

BrainTorrent は医用画像の完全に分散化したピアツーピア連邦学習フレームワークを提示し、中央サーバーなしで競争力のある全脳セグメンテーションを実現し、さまざまなデータ分布下でサーバーベースのFLを上回ります。

ABSTRACT

Access to sufficient annotated data is a common challenge in training deep neural networks on medical images. As annotating data is expensive and time-consuming, it is difficult for an individual medical center to reach large enough sample sizes to build their own, personalized models. As an alternative, data from all centers could be pooled to train a centralized model that everyone can use. However, such a strategy is often infeasible due to the privacy-sensitive nature of medical data. Recently, federated learning (FL) has been introduced to collaboratively learn a shared prediction model across centers without the need for sharing data. In FL, clients are locally training models on site-specific datasets for a few epochs and then sharing their model weights with a central server, which orchestrates the overall training process. Importantly, the sharing of models does not compromise patient privacy. A disadvantage of FL is the dependence on a central server, which requires all clients to agree on one trusted central body, and whose failure would disrupt the training process of all clients. In this paper, we introduce BrainTorrent, a new FL framework without a central server, particularly targeted towards medical applications. BrainTorrent presents a highly dynamic peer-to-peer environment, where all centers directly interact with each other without depending on a central body. We demonstrate the overall effectiveness of FL for the challenging task of whole brain segmentation and observe that the proposed server-less BrainTorrent approach does not only outperform the traditional server-based one but reaches a similar performance to a model trained on pooled data.

研究の動機と目的

• 医用画像の連邦学習におけるデータプライバシーと中央サーバー依存の問題に対処する。
• 多様なデータ分布を持つ医療センターに適したサーバーレスのピアツーピアFLフレームワークを開発する。
• BrainTorrent がデータプライバシーを保護しつつ、プールデータと同等のセグメンテーション性能を達成できることを実証する。

提案手法

• BrainTorrent をサーバーレスのピアツーピアFL環境として導入する。
• 各クライアントはモデル更新を追跡するバージョンベクトルを維持する。
• ランダムなクライアントがラウンドを開始し、更新されたピアはその重みとデータサイズを送信して統合モデルを形成する。
• 統合モデルはローカルデータでファインチューニングされ、中央サーバーなしで迅速な収束を可能にする。
• 全脳MRIセグメンテーションにおいて BrainTorrent を伝統的なサーバーベースFL（FLS）およびプールデータ訓練と比較する。

実験結果

リサーチクエスチョン

• RQ1 分散型でサーバーレスなFLフレームワークは、複数のセンターに跨ってプールデータと同等のセグメンテーション性能を達成できるか？
• RQ2 BrainTorrent はセンター間の非均一なデータ分布や年齢層別データ分布に対する頑健性を提供するか？
• RQ3 クライアント数の増加とクライアントあたりのデータ減少に対して BrainTorrent はどのようにスケールするか？
• RQ4 非常に小さなデータセットを持つセンターにおいて、BrainTorrent はサーバーベースFLより性能を維持するのに効果的か？

主な発見

# クライアント数	クライアントあたりのスキャン数	クライアント別平均 Dice (FLS)	クライアント別平均 Dice (BrainTorrent)	集約モデル (FLS)	集約モデル (BrainTorrent)
5	4	0.812	0.851	0.845	0.863
7	3	0.753	0.837	0.843	0.861
10	2	0.792	0.807	0.842	0.850
20	1	0.570	0.578	0.687	0.728

• BrainTorrent は、クライアントごとの平均Diceスコアと統合モデルの両方で、テスト設定全体を通じてサーバーベースFLを上回る。
• クライアント数が増え（各クライアントのデータが減少）、BrainTorrent はFLSより良い性能を維持し、プールデータの性能に近づく。
• 非均一なデータ分布のシナリオでは、BrainTorrent の集約モデルと各クライアントの性能がプールモデルに一致または接近するのに対し、FLSは劣化する。
• クライアント別分析では、BrainTorrent はほとんどのセンターでより堅牢な個別化モデルを生み出し、10クライアント構成でFLSより平均Diceが約2ポイント向上。
• BrainTorrent は生データを共有せずに、プールデータで訓練されたモデルと同等のセグメンテーション精度を達成する。