[論文レビュー] Benchmarking FedAvg and FedCurv for Image Classification Tasks

Bruno Casella, Roberto Esposito+2 more|arXiv (Cornell University)|Mar 31, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿は、非IIDデータ設定下における画像分類のためのFedAvgおよびFedCurvをベンチマーク化し、ラウンドごとのローカルエポック数を増加させることで、通信コストを削減しつつ性能が著しく向上することを示している。主な貢献は、アグリゲーション頻度だけでなく、ローカル最適化の深さが、特に統計的非同一性の状況下で収束性および精度に顕著な影響を及えるという実証的証拠を提供することにある。

ABSTRACT

Classic Machine Learning techniques require training on data available in a single data lake. However, aggregating data from different owners is not always convenient for different reasons, including security, privacy and secrecy. Data carry a value that might vanish when shared with others; the ability to avoid sharing the data enables industrial applications where security and privacy are of paramount importance, making it possible to train global models by implementing only local policies which can be run independently and even on air-gapped data centres. Federated Learning (FL) is a distributed machine learning approach which has emerged as an effective way to address privacy concerns by only sharing local AI models while keeping the data decentralized. Two critical challenges of Federated Learning are managing the heterogeneous systems in the same federated network and dealing with real data, which are often not independently and identically distributed (non-IID) among the clients. In this paper, we focus on the second problem, i.e., the problem of statistical heterogeneity of the data in the same federated network. In this setting, local models might be strayed far from the local optimum of the complete dataset, thus possibly hindering the convergence of the federated model. Several Federated Learning algorithms, such as FedAvg, FedProx and Federated Curvature (FedCurv), aiming at tackling the non-IID setting, have already been proposed. This work provides an empirical assessment of the behaviour of FedAvg and FedCurv in common non-IID scenarios. Results show that the number of epochs per round is an important hyper-parameter that, when tuned appropriately, can lead to significant performance gains while reducing the communication cost. As a side product of this work, we release the non-IID version of the datasets we used so to facilitate further comparisons from the FL community.

研究の動機と目的

• フェデレーテッドラーニングで一般的に見られる現実的な非IIDデータ分布下でのFedAvgおよびFedCurvのパフォーマンスを評価すること。
• ラウンドごとのローカル学習エポック数が、非IID設定下での収束性および精度に与える影響を調査すること。
• フェデレーテッドラーニングコミュニティのための再現可能なベンチマークを提供すること、その際には5つの異なる非IIDデータ分割戦略を含むこと。
• 今後の比較研究を支援するため、MNIST、CIFAR10、MedMNISTデータセットの非IID版をリリースすること。
• フェデレーテッド画像分類における通信コストとモデルパフォーマンスのトレードオフを分析すること。

提案手法

• 著者らは、3つの公開画像データセット（MNIST、CIFAR10、MedMNIST）に対してFedAvgおよびFedCurvを実装した。
• 5つの非IIDデータ分割スキームを生成した：数量スケイウィング、プライオリティシフト（病理的、ディリクレ、一様の3つのバリエーション）、およびコバリアートシフト。
• 各クライアントに非一様なデータサンプルの分布が割り当てられ、現実世界の統計的非同一性を模倣した。
• 複数ラウンドにわたってモデルを訓練し、各ラウンドではアグリゲーションの前にE回のローカルエポックを実行した。
• フェデレーテッドトレーニング後10ラウンドおよび100ラウンドでのテスト精度を測定した。
• 両方のアルゴリズムで、クライアント間のデータ不均衡を考慮するための重み付き平均化戦略を採用した。

実験結果

リサーチクエスチョン

• RQ1 ラウンドごとのローカルエポック数は、非IID設定下でのFedAvgおよびFedCurvのパフォーマンスにどのように影響するか？
• RQ2 どの非IIDデータ分割戦略がフェデレーテッドラーニングアルゴリズムにとって最大の挑戦をもたらすか？
• RQ3 統計的非同一性の処理を目的とした設計を持つFedCurvは、非IID状況下で一貫してFedAvgを上回る性能を示すのか？
• RQ4 ローカルトレーニングエポック数を増やすことで通信ラウンド数を減らすことは、より高いモデル精度をもたらすのか？
• RQ5 同一の非IID条件下で、異なる画像データセットにおけるFedAvgとFedCurvの性能をどのように比較できるか？

主な発見

• ラウンドごとのローカルエポック数を増やすことで、FedAvgおよびFedCurvの両方においてテスト精度が顕著に向上し、10エポック/ラウンドでも顕著な向上が観察された。
• ユニフォームおよびコバリアートシフト設定ではFedCurvがFedAvgを上回り、30エポック/ラウンド、100ラウンドでMedMNISTで89.45%の精度を達成した。
• コバリアートシフト設定下で、CIFAR10におけるFedAvgは30エポック/ラウンドで73.14%の精度を達成したのに対し、FedCurvは71.28%であった。これは中程度の非同一性下でも優れた性能を示している。
• ラベルの数量スケイウィングは最も挑戦的な非IID設定であり、10ラウンドでMedMNISTにおけるFedCurvは77.70%の精度を達成したが、FedAvgも75.07%という競争力のある性能を示した。
• 驚くべきことに、10ラウンド×10エポックの条件が、100ラウンド×1エポックの条件よりも高い精度を達成した。これは、より深いローカル最適化が通信コストを削減しつつ性能向上をもたらすことを示している。
• 病理的ラベルスケイウィングは2番目に難しい設定であり、100ラウンドでMedMNISTにおけるFedCurvは82.32%の精度を達成したのに対し、FedAvgは79.34%であった。