[論文レビュー] FedMAX: Mitigating Activation Divergence for Accurate and Communication-Efficient Federated Learning

Wei Chen, Kartikeya Bhardwaj+1 more|arXiv (Cornell University)|Apr 7, 2020

Privacy-Preserving Technologies in Data参考文献 20被引用数 10

ひとこと要約

FedMAXは、非IIDデータによって引き起こされる活性化分散を軽減するため、局所的活性化ベクトルに最大エントロピー事前分布を課すことにより、デバイス間での類似性を向上させる、新しいフェデレーテッドラーニングフレームワークを提案する。これにより、CIFAR-10、CIFAR-100、FEMNIST、医療データセットにおいて、FedAvgおよびFedProxと比較して、精度が向上し、通信ラウンド数が最大5倍まで削減される。

ABSTRACT

In this paper, we identify a new phenomenon called activation-divergence which occurs in Federated Learning (FL) due to data heterogeneity (i.e., data being non-IID) across multiple users. Specifically, we argue that the activation vectors in FL can diverge, even if subsets of users share a few common classes with data residing on different devices. To address the activation-divergence issue, we introduce a prior based on the principle of maximum entropy; this prior assumes minimal information about the per-device activation vectors and aims at making the activation vectors of same classes as similar as possible across multiple devices. Our results show that, for both IID and non-IID settings, our proposed approach results in better accuracy (due to the significantly more similar activation vectors across multiple devices), and is more communication-efficient than state-of-the-art approaches in FL. Finally, we illustrate the effectiveness of our approach on a few common benchmarks and two large medical datasets.

研究の動機と目的

• 同じクラスのラベルを共有しているにもかかわらず、非IIDデータによって生じる活性化ベクトルの類似性の欠如（活性化分散）が、フェデレーテッドラーニングにおけるモデル精度を低下させることを是正すること。
• 共有されるグローバルデータを必要とせずに、デバイス間での活性化表現を一致させることで、IIDおよび非IIDの両設定においてモデル精度を向上させること。
• 精度の低下を伴わずに長いローカルトレーニングエポックを可能にすることで、通信ラウンド数を削減し、通信効率を向上させること。
• データ共有を回避するプライバシー保護型ソリューションを提供し、実世界および医療データセットにおいて高いパフォーマンスを維持すること。

提案手法

• 各デバイスの活性化ベクトルについて最小限の情報を仮定する最大エントロピー事前分布を導入し、同じクラスに対してデバイス間で一様性と類似性を促進する。
• 標準的な交差エントロピー損失に加え、活性化ベクトルへのL2ノルムペナルティを組み合わせた正則化損失関数を定式化し、コンactかつ類似した表現を促進する。
• 同じクラスラベルが複数デバイスで一致する制約下で、活性化分布が可能な限り一様になるように、最大エントロピー原理を適用する。
• 各通信ラウンドにおいて、新しい事前分布を用いてローカルモデルを訓練し、その後、FedAvgと同様の平均化手法でグローバルモデル重みをアグリゲートする。
• t-SNE可視化を用いて、FedMAXとFedAvgの間でデバイス間の活性化ベクトルクラスタリングを分析・比較し、類似性の向上を実証する。
• 実世界ベンチマークおよび2つの大規模医療データセット（APTOSおよびChest X-ray）を含む、IIDおよび非IIDデータ分割の両設定で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 非IIDフェデレーテッドラーニングにおいて、ユーザーが共通のクラスを共有しているにもかかわらず、活性化分散がモデル精度をどの程度低下させるか？
• RQ2 局所的活性化ベクトルに最大エントロピー事前分布を課すことにより、デバイス間の分散を低減し、モデル一般化性能を向上させられるか？
• RQ3 多様なデータセットにおいて、FedMAXはFedAvgおよびFedProxと比較して、テスト精度および通信効率の点でどの程度優れているか？
• RQ4 データ共有が不可能なプライバシー感受性の高い医療データセットにおいて、FedMAXは性能向上を維持できるか？
• RQ5 提案手法により、目標精度に到達するための通信ラウンド数を削減できるか、かつモデルパフォーマンスを損なわないか？

主な発見

• 非IID設定下でCIFAR-10データセットにおいて、FedMAXはFedAvgと比較して5.64%～5.84%高いテスト精度を達成する。
• CIFAR-10において、FedMAXはFedAvgおよびFedProxと比較して、精度を維持または向上させながら通信ラウンド数を最大5倍まで削減する。
• t-SNE可視化では、FedMAXでは同じクラスの活性化ベクトルがデバイス間でFedAvgと比較して、特に6～15エポック目以降により緊密にクラスタリングされていることが示された。
• FEMNISTおよびCIFAR-100データセットにおいて、IIDおよび非IID両設定でFedMAXはFedAvgおよびFedProxを上回り、精度および通信効率の両面で一貫した向上を示す。
• APTOS医療データセット（IID）では、FedMAXはFedAvgに対して明確な改善を示すが、データ量が少ないChest X-rayデータセットでは、データの影響による分散が限定的であるため、性能は同程度にとどまる。
• 医療データセットでは活性化ベクトルへのL2正則化が性能向上に顕著に寄与するが、CIFAR-10では逆に性能が劣るため、データセットに特有の感受性があることが示唆される。