[論文レビュー] Gradient Masked Averaging for Federated Learning

Irene Tenison, Sai Aravind Sreeramadas+4 more|arXiv (Cornell University)|Jan 28, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、非i.i.d.設定における一般化性能の向上を図るために、クライアント間で一貫した方向性を示す勾配成分に注目し、不一致な成分は軽減する手法として、勾配マスク平均化（GMA）を提案する。GMAは、特にデータの非独立同分布性とクライアント参加の不均衡が顕著な状況下でも、標準的な平均化を上回る性能を示し、複数のデータセットおよびアルゴリズムにおいて一貫した向上を達成する。

ABSTRACT

Federated learning (FL) is an emerging paradigm that permits a large number of clients with heterogeneous data to coordinate learning of a unified global model without the need to share data amongst each other. A major challenge in federated learning is the heterogeneity of data across client, which can degrade the performance of standard FL algorithms. Standard FL algorithms involve averaging of model parameters or gradient updates to approximate the global model at the server. However, we argue that in heterogeneous settings, averaging can result in information loss and lead to poor generalization due to the bias induced by dominant client gradients. We hypothesize that to generalize better across non-i.i.d datasets, the algorithms should focus on learning the invariant mechanism that is constant while ignoring spurious mechanisms that differ across clients. Inspired from recent works in Out-of-Distribution generalization, we propose a gradient masked averaging approach for FL as an alternative to the standard averaging of client updates. This aggregation technique for client updates can be adapted as a drop-in replacement in most existing federated algorithms. We perform extensive experiments on multiple FL algorithms with in-distribution, real-world, feature-skewed out-of-distribution, and quantity imbalanced datasets and show that it provides consistent improvements, particularly in the case of heterogeneous clients.

研究の動機と目的

• クライアント間でのデータ非独立同分布性に起因するモデル性能の低下という課題に対処すること。
• 非i.i.d.設定におけるクライントのモデル更新を標準的に平均化することによるバイアスおよび情報損失を克服すること。
• クライアント間で共通する不変なメカニズムに注目することで一般化性能を向上させるとともに、クライアント固有のばらつきの強いパターンを抑制すること。
• 既存のフェデレーテッド学習アルゴリズムと互換性を持つプラグイン型の集約手法を開発し、アーキテクチャの変更なしに耐性を高めること。
• 分布内、分布外、および数量の不均衡な設定を含む多様なデータセットにおいて、一貫した性能向上を実証すること。

提案手法

• 全クライアントの各勾配成分の符号を計算し、成分ごとの更新方向の合意度を特定する。
• 合意度スコアに基づいてソフトマスク行列を構築し、合意度が高いほど最終更新における重みが高くなるようにする。
• 平均化の前にクライアントの勾配にマスクを適用し、クライアント間で合意している方向を強調し、矛盾する更新を弱める。
• マスクをかけた勾配の平均値をグローバルモデルの更新として採用し、標準的なFedAvgスタイルの平均化を置き換える。
• FedAvgなど既存のフェデレーテッドアルゴリズムにGMAをドロップインで統合可能であり、クライアントの学習手順に変更を加える必要がない。
• マスク機構は微分可能かつ安定しており、補足資料に理論的収束性および安定性の分析が提供されている。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.データ分布下において、標準的な平均化と比較して勾配マスクは、フェデレーテッド学習における一般化性能を向上させるか？
• RQ2 現実のFL設定で一般的な特徴の偏りと数量の不均衡を持つデータ分布下で、GMAはどのように性能を発揮するか？
• RQ3 部分的なクライアント参加が発生するラウンドにおいて、参加しないクライアントの性能向上がGMAによってより顕著に得られるか？
• RQ4 クライアント数およびローカル学習エポック数の増加に伴い、GMAの性能はどのようにスケーリングするか？
• RQ5 ロジスティック回帰を用いたMNISTにおける凸最適化設定で、GMAは収束性および耐性を向上させるか？

主な発見

• 10人のクライアントと非i.i.i.d.データを用いたFMNISTでは、GMAは参加クライアントのテスト精度を標準平均化と比較して2.4%向上させ、非参加クライアントでは4.6%向上させた。
• 100人のクライアントとディリクレ分布に基づく数量スケーリング（β=0.5）を用いたCIFAR-10では、GMAは極端なデータ不均衡下でも標準平均化を上回り、耐性を示した。
• MNISTとロジスティック回帰を用いた凸設定では、GMAは非i.i.i.d.データ下で88.5%のテスト精度を達成したのに対し、標準平均化では87.0%であった。
• GMAは複数のアルゴリズムおよびデータセットにおいて一貫した向上を示し、特に非均質的かつ不均衡な設定で大きな向上を示した。
• アブレーションスタディの結果、GMAの利点はクライアント数の増加およびローカルエポック数の増加に伴いさらに高まることが確認され、クライアントドリフトおよびデータ非均質性に対する耐性が強いことが示された。
• 本手法は安定性および収束性が向上しており、理論的分析によりその耐性および収束特性が裏付けられている。