[論文レビュー] An Isolated Data Island Benchmark Suite for Federated Learning.

Yuan Liang, Yange Guo+4 more|arXiv (Cornell University)|Aug 17, 2020

Privacy-Preserving Technologies in Data参考文献 28被引用数 7

ひとこと要約

本論文では、医療、金融、AIoT分野における現実世界の孤立したデータ島をシミュレートする、オープンソースのベンチマークスイートであるFLBenchを紹介する。これらの分野における固有のデータ特性を捉えることで、FLBenchはフェデレーテッドラーニングアルゴリズムの厳密な評価を可能にし、アルゴリズム開発およびベンチマーク評価のためのスケーラブルで自動化されたデプロイメントプラットフォームを提供する。

ABSTRACT

Federated learning (FL) is a new machine learning paradigm, the goal of which is to build a machine learning model based on data sets distributed on multiple devices--so called Isolated Data Island--while keeping their data secure and private. Most existing work manually splits commonly-used public datasets into partitions to simulate real-world Isolated Data Island while failing to capture the intrinsic characteristics of real-world domain data, like medicine, finance or AIoT. To bridge this huge gap, this paper presents and characterizes an Isolated Data Island benchmark suite, named FLBench, for benchmarking federated learning algorithms. FLBench contains three domains: medical, financial and AIoT. By configuring various domains, FLBench is qualified for evaluating the important research aspects of federated learning, and hence become a promising platform for developing novel federated learning algorithms. Finally, FLBench is fully open-sourced and in fast-evolution. We package it as an automated deployment tool. The benchmark suite will be publicly available from this http URL.

研究の動機と目的

• 医療、金融、AIoTなどの分野における現実世界のデータ特性を反映しない既存のフェデレーテッドラーニングベンチマークのギャップを解消すること。
• 孤立したデータ島の固有の分布的および構造的特性を捉える包括的なベンチマークスイートの開発。
• 多様で現実的なデータドメインにおけるフェデレーテッドラーニングアルゴリズムの評価を可能にする標準的で拡張可能なプラットフォームの提供。
• 自動デプロイメントとオープンソースの可用性を通じて、新規フェデレーテッドラーニングアルゴリズムの開発を支援すること。

提案手法

• 医療、金融、AIoTアプリケーションからのデータを含む、複数分野のベンチマークスイートであるFLBenchの設計および構築。
• 現実世界のデータ隔離パターンを反映するようにデータパーティションを設定し、分野固有の統計的および構造的特性を保持。
• ベンチマーク実行およびアルゴリズム評価を簡素化するための自動デプロイメントツールの実装。
• 現実的なフェデレーテッドラーニングシナリオをシミュレートするために、多様なデータ分布および非均一性パターンの統合。
• 分野をまたいで、クラス不均衡、特徴相関、時間的ダイナミクスなどの現実世界のデータ特性の使用。
• コミュニティ主導の進化と再現可能性のある研究を可能にするために、ベンチマークスイート全体をオープンソース化。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングアルゴリズムは、医療、金融、AIoTなどの多様で現実的なデータドメインでどのように性能を発揮するか？
• RQ2 既存のベンチマークデータセットは、実際の孤立したデータ島の固有の特性をどの程度正しく反映していないか？
• RQ3 統一されたベンチマークスイートは、現実世界のフェデレーテッドラーニングシナリオの非均一性と複雑さを捉えることができるか？
• RQ4 FLBenchは、新規フェデレーテッドラーニングアルゴリズムの開発および評価をどの程度効果的に支援できるか？

主な発見

• FLBenchは、医療、金融、AIoTデータにおけるクラス不均衡、特徴相関、時間的ダイナミクスといった分野固有のデータ特性を効果的に捉えている。
• 合成データや手動でパーティショニングされた公開データセットと比較して、FLBenchはフェデレーテッドラーニングアルゴリズムのより現実的な評価を可能にしている。
• 統合されたデプロイメントツールのおかげで、スケーラブルかつ自動化された評価が可能となり、再現性と使いやすさが向上している。
• FLBenchのオープンソース化により、コミュニティによる採用と継続的な進化が促進され、今後のFL研究のための有望なプラットフォームとして位置づけられている。