[論文レビュー] FedEntropy: Efficient Device Grouping for Federated Learning Using Maximum Entropy Judgment

Zhiwei Ling, Zhihao Yue+4 more|arXiv (Cornell University)|May 24, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

FedEntropyは、集約の前に高品質な局所モデルを選択するための最大エントロピー判断を用いた動的デバイスグループ化手法を提案する。選択されたデバイスからのソフトラベルを評価し、全体のエントロピーを最大化するモデルのみをアップロードすることで、分類精度を向上させるとともに通信オーバーヘッドを低減する。CIFAR-10、Fashion-MNIST、EMNISTベンチマークにおいて、最先端のFL手法を上回る性能を発揮する。

ABSTRACT

Along with the popularity of Artificial Intelligence (AI) and Internet-of-Things (IoT), Federated Learning (FL) has attracted steadily increasing attentions as a promising distributed machine learning paradigm, which enables the training of a central model on for numerous decentralized devices without exposing their privacy. However, due to the biased data distributions on involved devices, FL inherently suffers from low classification accuracy in non-IID scenarios. Although various device grouping method have been proposed to address this problem, most of them neglect both i) distinct data distribution characteristics of heterogeneous devices, and ii) contributions and hazards of local models, which are extremely important in determining the quality of global model aggregation. In this paper, we present an effective FL method named FedEntropy with a novel dynamic device grouping scheme, which makes full use of the above two factors based on our proposed maximum entropy judgement heuristic.Unlike existing FL methods that directly aggregate local models returned from all the selected devices, in one FL round FedEntropy firstly makes a judgement based on the pre-collected soft labels of selected devices and then only aggregates the local models that can maximize the overall entropy of these soft labels. Without collecting local models that are harmful for aggregation, FedEntropy can effectively improve global model accuracy while reducing the overall communication overhead. Comprehensive experimental results on well-known benchmarks show that, FedEntropy not only outperforms state-of-the-art FL methods in terms of model accuracy and communication overhead, but also can be integrated into them to enhance their classification performance.

研究の動機と目的

• デバイス間での統計的データ非同一性に起因する非IIDフェデレーテッドラーニングにおける分類精度の低さという課題に対処する。
• すべてのデバイスを同等に扱う既存のFL手法の限界を克服し、データ分布の特性やモデル貢献度を評価しないこと。
• 集約の前に有害または低品質な局所モデルをフィルタリングする動的デバイスグループ化戦略を構築し、グローバルモデルの品質を向上させること。
• 通信回数を削減することで通信オーバーヘッドを最小限に抑えつつ、モデル精度を維持または向上させること。
• 既存のFL最適化手法と互換性があり、知的なデバイス選択によってそれらの性能を向上させることのできるフレームワークを設計すること。

提案手法

• 2段階のデバイスグループ化メカニズムを提案：まず、選択されたデバイスからソフトラベルを収集し、次に最大エントロピー判断を適用して集約に適した最も情報量の多いモデルを選択する。
• エントロピーを用いてソフトラベルの情報含量を定量化し、デバイス間で多様で代表的な予測を促進する。
• クラウド上にポジティブおよびネガティブなデバイスプールを導入し、エントロピー貢献度に基づいてデバイスを分類し、選択的集約を可能にする。
• 選択プロセスを最適化問題として定式化：組み合わせたソフトラベルの全体エントロピーを最大化するデバイスの部分集合を選択する。
• 最初にソフトラベルのみをアップロードすることで通信効率を確保（低オーバーヘッド）し、その後にエントロピーを最大化する局所モデルのみを条件付きでアップロードする。
• FedAvg、FedProx、SCAFFOLD、Moonなどの既存のFLフレームワークと統合し、互換性と性能向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピー判断は、非IID FL環境下でグローバルモデルの多様性と精度に最も寄与する局所モデルを効果的に同定・優先できるか？
• RQ2 提案手法の動的デバイスグループ化機構は、静的または均一な集約と比較して収束速度と最終精度の点でどのように異なるか？
• RQ3 実世界の非IIDデータ分布において、モデル性能を劣化させることなく、FedEntropyは通信オーバーヘッドをどの程度低減できるか？
• RQ4 エントロピーに基づく選択メカニズムは、既存のFL最適化手法と効果的に組み合わせられ、それらの性能を向上させられるか？
• RQ5 本手法は、異なるデータセットやデータの非IID度の変動に対してどの程度頑健か？

主な発見

• CIFAR-10、Fashion-MNIST、EMNISTのすべての非IIDシナリオにおいて、FedEntropyは最先端のFL手法を上回るテスト精度を達成し、一部のケースでは最大10%の向上を示した。
• CIFAR-10では、3つの非IID設定において、目標精度（30%、50%、50%）に到達するための通信ラウンド数と通信オーバーヘッドが最少であった。
• FedAvg、FedProx、SCAFFOLD、Moonと組み合わせた場合、FedEntropyは顕著な性能向上を示した。例えば、同じベンチマークでFedAvg+FedEntropyはSCAFFOLDを上回る精度を達成した。
• アブレーションスタディにより、最大エントロピー判断とポジティブ/ネガティブデバイスプール機構の両方が性能向上に不可欠であることが確認され、いずれかのコンponentを削除すると精度が低下した。
• 本手法は高い互換性を示し、既存のFLフレームワークに統合することで、複雑性を増すことなく分類精度が一貫して向上した。
• 通信オーバーヘッドは最初の段階（ソフトラベルのアップロード）で無視できるほど低く、2番目の段階ではFedAvgと同等かそれ以下の水準に抑えられ、帯域制限のある環境でも効率的であることが示された。