[論文レビュー] LEAF: A Benchmark for Federated Settings

Sebastian Caldas, Duddu, Sai Meher Karthik+6 more|arXiv (Cornell University)|Dec 3, 2018

Privacy-Preserving Technologies in Data参考文献 36被引用数 285

ひとこと要約

LEAF はフェデレーテッド学習、メタ学習、マルチタスク学習のためのモジュラーなオープンソースベンチマークを提供し、データセット、評価指標、現実的なフェデレーテッド環境を反映したリファレンス実装を含む。

ABSTRACT

Modern federated networks, such as those comprised of wearable devices, mobile phones, or autonomous vehicles, generate massive amounts of data each day. This wealth of data can help to learn models that can improve the user experience on each device. However, the scale and heterogeneity of federated data presents new challenges in research areas such as federated learning, meta-learning, and multi-task learning. As the machine learning community begins to tackle these challenges, we are at a critical time to ensure that developments made in these areas are grounded with realistic benchmarks. To this end, we propose LEAF, a modular benchmarking framework for learning in federated settings. LEAF includes a suite of open-source federated datasets, a rigorous evaluation framework, and a set of reference implementations, all geared towards capturing the obstacles and intricacies of practical federated environments.

研究の動機と目的

• 統計、システム、そしてプライバシーの課題を捉える現実的なベンチマークの必要性を動機づける。
• フェデレーテッド学習、メタ学習、マルチタスク学習を研究するためのデータセット、指標、リファレンス実装からなるモジュラーなフレームワークを提供する。
• 再現可能な実験を可能にするオープンソースのデータセットと標準化されたデータ前処理を提供し、さまざまなデバイスと分布にまたがる実験を再現可能にする。
• エッジでのデバイス間のパフォーマンス分布とリソース使用を反映する評価手法を提案する。
• 代表的な実験とパイプラインを通じてLEAF のモジュラリティと再現性を示す。

提案手法

• 自然なデバイスレベルの分割を用いて、FEMNIST、Sentiment140、Shakespeare、CelebA、Reddit、Synthetic の6つの現実的なフェデレーテッドデータセットをキュレーションする。
• 統計とシステム指標の両方を記録するデータセット、指標、リファレンス実装からなるモジュラーなフレームワークを定義する。
• デバイス間の分布とリソースの側面を捉えるパーセンタイルおよび階層ベースのパフォーマンス指標を導入する。
• FedAvg、ミニバッチSGDなどのベースラインとリファレンスアルゴリズムを提供し、より多くの方法とパラダイムへの拡張計画を立てる。
• ShakespeareのFedAvg収束挙動を再現し、データ欠如とエッジ計算指標を探索することでLEAF の再現性を示す。
• LEAFデータセットをさまざまな実験設定（ローカルモデル、混合データ、Reptileによるメタ学習）に統合してパイプラインのモジュラリティを示す。

実験結果

リサーチクエスチョン

• RQ1 現実世界の異質性とデバイススケールの制約を反映したデータセットでフェデレーテッド設定をどのようにベンチマークできるか？
• RQ2 統計的なパフォーマンスとエッジリソース使用の両方を効果的に捉える指標は何か？
• RQ3 標準的なフェデレーテッド学習のベースライン（例：FedAvg）は現実的なフェデレーテッドデータ分布と異なるローカルトレーニング体制でどう機能するか？
• RQ4 LEAF のデータセットとパイプラインは、特定のフェデレーテッドデータセットに対して特定のモデリングアプローチ（例：ローカルモデル対グローバルモデル対メタ学習）がどの程度適しているかを明らかにできるか？
• RQ5 データ遅延とデバイス参加がフェデレーテッド設定の再現性と評価に与える影響は何か？

主な発見

データセット	FedAvg（ベースライン）精度	追加パイプライン精度
CelebA	89.46%	65.29%
Synthetic	71.89%	87.34%
Reddit	13.35%	12.60%
FEMNIST	74.72%	80.24%

• LEAF は、ローカルエポック設定の下で既知の Shakespeare FedAvg の収束/発散パターンを再現することにより再現性のある実験を可能にする。
• LEAF は粒度の高い統計とシステム指標を提供し、各ユーザーあたりの最小サンプル数がパフォーマンス分布（例：Sentiment140）に与える影響を示す。
• FedAvg は多くのデータセットで有利なシステムのトレードオフ（通信対局所計算）を提供することが多いが、結果はタスクとデータの分割によって異なる。
• Table 2 のデモンストレーションでは、異なるパイプライン（ローカルモデル、グローバルIID、Reptile）はデータセットごとに異なる精度を示し、LEAF のモジュラリティとデータセット固有の挙動を示している。
• 六つの LEAF データセットは、デバイス数が千単位から百万単位のスケールとデバイスごとのデータの歪みを含み、現実的なフェデレーテッド環境を反映している。