[論文レビュー] On the effectiveness of partial variance reduction in federated learning with heterogeneous data

Bo Li, Mikkel N. Schmidt+2 more|arXiv (Cornell University)|Dec 5, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークの最終分類層にのみバリアンス低減を適用する部分的バリアンス低減手法であるFedPVRを提案する。最終層における勾配のバリアンスを低減することにより、非独立同分布（non-IID）のデータにおいても、FedAvg や他のベースラインと比較して収束が速く、精度が高く、通信コストは低く保ちながら、凸および非凸設定の両方で収束を示す。

ABSTRACT

Data heterogeneity across clients is a key challenge in federated learning. Prior works address this by either aligning client and server models or using control variates to correct client model drift. Although these methods achieve fast convergence in convex or simple non-convex problems, the performance in over-parameterized models such as deep neural networks is lacking. In this paper, we first revisit the widely used FedAvg algorithm in a deep neural network to understand how data heterogeneity influences the gradient updates across the neural network layers. We observe that while the feature extraction layers are learned efficiently by FedAvg, the substantial diversity of the final classification layers across clients impedes the performance. Motivated by this, we propose to correct model drift by variance reduction only on the final layers. We demonstrate that this significantly outperforms existing benchmarks at a similar or lower communication cost. We furthermore provide proof for the convergence rate of our algorithm.

研究の動機と目的

• 深層ニューラルネットワークを用いた非IID、非同分布データ環境下でFedAvgが性能を発揮できない理由を解明すること。
• データの非同分布性とモデルドリフトに最も影響を受けるニューラルネットワークの層を同定すること。
• ドリフト補正を最も問題の大きい層に限定することで、通信効率の高いフェデレーテッドラーニング手法を設計すること。
• 提案手法の凸および非凸設定下での収束性を証明すること。
• 部分的バリアンス低減が、全モデルバリアンス低減やベースライン手法と比較して、精度および通信効率の面で優れていることを実証すること。

提案手法

• クライアントとサーバーの分類器勾配の差に基づく制御変数を導入し、最終全結合層におけるバリアンス低減を実現する。
• バリアンス低減は、例えばVGG-11の層27〜28のように、最後の数層に限定的に適用され、他の層は標準的なFedAvg更新を用いる。
• 各通信ラウンドにおけるクライアント間での勾配方向およびスケールの変動を定量化するためのドリフト多様性指標を導入する。
• 非バリアンス低減層にはモーメンタムを適用し、学習の安定化を図る。
• 信頼性の高い予測を高ステイクスな応用で得るために、補正用に小規模な検証セットを用いてコンフォーマル予測を適用する。
• 理論的に収束速度を分析し、データの非同分布性に弱い依存性を示し、集中学習のSGDと同等の高速収束を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるデータ非同分布性が、深層ニューラルネットワークのどの層に最も影響を与えるか。
• RQ2 最終層にのみ部分的バリアンス低減を適用することで、非IID環境下での収束性と精度が向上するか。
• RQ3 通信効率および最終モデル性能の観点から、提案手法はFedAvg、FedProx、FedDyn、SCAFFOLDと比較してどのように異なるか。
• RQ4 提案手法は非凸設定下でも正当に収束するか。また、データ非同分布性の程度に応じて収束速度はどのようにスケーリングされるか。
• RQ5 コンフォーマル予測は、通信コストを増加させることなく、さらなる信頼性の向上を図れるか。

主な発見

• FedPVRは、CIFAR10およびCIFAR100において、α=0.1からα=1.0までのさまざまなデータ非同分布度合いの下で、FedAvg、FedProx、FedDyn、SCAFFOLDと比較して収束が速い。
• 通信ラウンド数を固定した場合、いくつかの設定においてFedPVRは集中学習と同等またはそれ以上のトップ1精度を達成する。
• 最終層にのみバリアンス低減を適用することで、特徴抽出層における勾配多様性が向上し、モデルの表現力が向上する。
• 同様の精度に到達するための通信ラウンド数がベースラインより少なく、かつFedAvgと同等またはわずかに多いパラメータを送信する。
• 理論的分析により、FedPVRはデータ非同分布性の指標に弱い依存性を示し、集中学習のSGDと同等の収束速度を達成することが示された。
• コンフォーマル予測により予測の信頼性が向上し、適応的予測集合は高い経験的カバレッジを達成しながら、平均予測集合サイズは小さく保たれた。