[論文レビュー] FLamby: Datasets and Benchmarks for Cross-Silo Federated Learning in Realistic Healthcare Settings

Jean Ogier du Terrail, Samy-Safwan Ayed+22 more|arXiv (Cornell University)|Oct 10, 2022

Privacy-Preserving Technologies in Data被引用数 39

ひとこと要約

FLamby は 7 つの実世界データセットとベースラインモデルを備えた、オープンソースの跨サイロ医療ファデレーション学習ベンチマークを提供し、自然なクライアント分割に基づくFL戦略の再現性のある評価を可能にします。

ABSTRACT

Federated Learning (FL) is a novel approach enabling several clients holding sensitive data to collaboratively train machine learning models, without centralizing data. The cross-silo FL setting corresponds to the case of few ($2$--$50$) reliable clients, each holding medium to large datasets, and is typically found in applications such as healthcare, finance, or industry. While previous works have proposed representative datasets for cross-device FL, few realistic healthcare cross-silo FL datasets exist, thereby slowing algorithmic research in this critical application. In this work, we propose a novel cross-silo dataset suite focused on healthcare, FLamby (Federated Learning AMple Benchmark of Your cross-silo strategies), to bridge the gap between theory and practice of cross-silo FL. FLamby encompasses 7 healthcare datasets with natural splits, covering multiple tasks, modalities, and data volumes, each accompanied with baseline training code. As an illustration, we additionally benchmark standard FL algorithms on all datasets. Our flexible and modular suite allows researchers to easily download datasets, reproduce results and re-use the different components for their research. FLamby is available at~\url{www.github.com/owkin/flamby}.

研究の動機と目的

• 医療を対象とした、現実的でオープンソースの跨サイロファデレーション学習ベンチマークを提供する。
• 病院やモーダリティ間の現実の分散不均一性を反映する自然なクライアント分割を持つデータセットを提供する。
• FL戦略の公正な比較を可能にする、ベースラインモデルと標準化されたベンチマークプロトコルを提供する。
• 既存のFLフレームワークと統合し、モジュラーな部品を提供することで再現性と拡張性を促進する。

提案手法

• モダリティとタスク（分類、セグメンテーション、サバイバル）にまたがる自然なクライアント分割を持つ7つの医療データセットを収集・統合する。
• FedML や Fed-BioMed などのFLライブラリと互換性のある、データセット・ベースライン・FL戦略のモジュール式PythonベースのAPIを定義する。
• クライアントごとの訓練/テスト分割とプールされたベースラインを提供し、公平な比較を可能にする。
• 共通のベンチマークインタフェースを持つ、FedAvg, FedProx, Scaffold, Cyclic Learning, FedAdam/Yogi/Adagrad などの跨サイロFL戦略のセットを実装する。
• 固定ラウンドで、ML部とFL部のハイパーパラメータ調整を別々に実行するエンドツーエンドのベンチマークを実行するためのガイドラインとスクリプトを提供する。
• 追加データセット・戦略・プライバシー制約の拡張を容易にする、再現可能なコードとドキュメントを含める。

実験結果

リサーチクエスチョン

• RQ1 自然に分割された現実世界の医療データセットは、異なるモダリティとタスクにわたる跨サイロファデレーション学習の下でどのように挙動するか？
• RQ2 医療データに観察されるクライアント間の不均一性に対して最も頑健なFL戦略はどれか。
• RQ3 これらの現実的な跨サイロ医療データセットに対して、FL戦略はプールされたデータの性能にどの程度近づけるか。
• RQ4 FLamby ベンチマークはFL手法とデータセット間で公正かつ再現性のある比較をサポートしているか？

主な発見

• いくつかのFL戦略は特定のデータセット（例: Fed-KITS2019 および ISIC2019）で局所トレーニングを上回るが、TCGA-BRCA と Heart-Disease を除き、一般にプールされたベースラインには及ばない。
• FedAdam、FedYogi、および FedAdagrad（FedOpt 系）が、FLが有効なデータセットでFL戦略の中で最良の性能を示すことが多い。
• Cyclic Learning と FedAvg は全体として弱い基準で、FedAvg は Camelyon16 と IXI のみで競合する。
• 全体として、異種の医療データにおける跨サイロFLは依然として困難であり、より堅牢な戦略と注意深いハイパーパラメータ調整の必要性を浮き彫りにしている。
• このベンチマークは、現実世界のヘテロジニティを反映する自然な分割を強調している。