[論文レビュー] Evaluation Framework For Large-scale Federated Learning

Lifeng Liu, Fengda Zhang+2 more|arXiv (Cornell University)|Mar 3, 2020

Privacy-Preserving Technologies in Data参考文献 12被引用数 9

ひとこと要約

本論文は、カスタマイズ可能な非IIDデータセットと包括的な評価メトリクスを備えたモジュラーなベンチマークを特徴とする大規模なフェデレーテッドラーニングのオープンソース評価フレームワークを提案する。非IIDデータ生成法として、共変量シフト、事前確率シフト、コンセプトシフトの3種類を導入し、通信ラウンド数、ノード数、データ品質などのメトリクスを用いてフェデレーテッドラーニングアルゴリズムを評価した。その結果、データの偏りが高くなるとモデルの精度が低下し、誤差率も上昇することが示された。

ABSTRACT

Federated learning is proposed as a machine learning setting to enable distributed edge devices, such as mobile phones, to collaboratively learn a shared prediction model while keeping all the training data on device, which can not only take full advantage of data distributed across millions of nodes to train a good model but also protect data privacy. However, learning in scenario above poses new challenges. In fact, data across a massive number of unreliable devices is likely to be non-IID (identically and independently distributed), which may make the performance of models trained by federated learning unstable. In this paper, we introduce a framework designed for large-scale federated learning which consists of approaches to generating dataset and modular evaluation framework. Firstly, we construct a suite of open-source non-IID datasets by providing three respects including covariate shift, prior probability shift, and concept shift, which are grounded in real-world assumptions. In addition, we design several rigorous evaluation metrics including the number of network nodes, the size of datasets, the number of communication rounds and communication resources etc. Finally, we present an open-source benchmark for large-scale federated learning research.

研究の動機と目的

• 非IIDデータ条件下での大規模フェデレーテッドラーニングのための標準的で再現可能なベンチマークの不足に応えること。
• 現実世界のデータシフトに基づいた、現実的でスケーラブルな非IIDデータセットを生成するためのオープンソースフレームワークを設計・公開すること。
• 精度以外の包括的評価メトリクス（通信ラウンド数、ノード数、データ品質要因など）を整備すること。
• さまざまなシステム的・データ的非均一性の設定下で、フェデレーテッドラーニングアルゴリズムを公平かつ体系的に比較可能にすること。
• オープンソースコード、構成ツール、およびデータセット生成とベンチマークのための文書化されたワークフローを提供することで、再現可能な研究を支援すること。

提案手法

• フレームワークは、共変量シフト（ランダム分割）、事前確率シフト（ラベルベースの分割）、コンセプトシフト（文脈に基づくラベル再定義）の3つのメカニズムを用いて非IIDデータセットを生成する。
• フレームワーク内のプロファイルモジュールにより、YAML形式の設定ファイルを介してノード数、分割モード、データスケวのレベルなどのデータセットパラメータをユーザーが設定可能である。
• 評価メトリクスは精度に加え、通信ラウンド数、ネットワークノード数、データセットサイズ、通信リソース使用量を含むもので、アルゴリズム全体の包括的評価を可能にする。
• フレームワークは、ノードごとのデータ分布に基づく正規化誤差インデックスを用いて、データ分布の不均衡度を定量化するNEI（Non-IID Evaluation）モジュールを統合している。
• ベンチマークは、基本サービス、データセット生成、評価メトリクス、プロファイル設定のコンponentsを備えたモジュラーなプラットフォームEFFLとして実装されており、エンドツーエンドの再現性を実現している。
• MNIST や CIFAR-10 といった代表的なデータセットをサポートしており、コードとデータセットはGitHubに公開され、コミュニティによる再利用が可能である。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける非IIDデータ分布を、現実世界の妥当なシフトに基づいて体系的に生成・特徴づける方法は何か？
• RQ2 システム的非均一性が顕著な状況下で、標準的な精度以外の評価メトリクスは、フェデレーテッドラーニングアルゴリズムの公平な比較に不可欠であると考えられるか？
• RQ3 データスケイ（数量およびラベル分布）やデータ品質（例：誤差率）の異なる度合いが、モデルの収束性および性能に与える影響は何か？
• RQ4 さまざまな非IIDデータ構成下で、通信効率（通信ラウンド数）とモデル精度の相関関係はどの程度強いのか？
• RQ5 モジュラーでオープンソースのベンチマークフレームワークは、多様な実験設定下でフェデレーテッドラーニングアルゴリズムの再現可能でスケーラブルな評価を可能にするか？

主な発見

• MNISTでは、数量スケイ（quantity skew）下で3000ラウンドの通信を経て96.33%の精度に到達したのに対し、ラベル分布スケイ（label distribution skew）下では同じ条件下で93.44%であった。
• CIFAR-10では、数量スケイ下で3000ラウンドで95.94%の精度を達成したが、ラベルスケイ下では71.50%にとどまり、ラベルの不均衡がより強い悪影響を及ぼしていることが示された。
• 全データセットに30%の誤差データが含まれる状況下で、ラベル分布スケイ下のMNISTでは精度が84.33%に低下し、データ品質が劣化すると顕著な性能低下が生じた。
• より高いデータ品質（誤差率が低い）で、より均一なデータ分布（1ノードあたりの同一データの割合Nが低い）である状況では、すべての設定でモデル精度が一貫して向上した。
• フレームワークは、通信効率とモデル精度がデータ分布およびシステム構成に極めて敏感であることを実証し、包括的評価メトリクスの必要性を裏付けた。
• コードベースと非IIDデータセットのオープンソース公開により、再現可能なベンチマーク評価が可能となり、データセット生成と評価のための文書化されたワークフローが整備された。