[論文レビュー] Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning

Matías Mendieta, Taojiannan Yang+4 more|arXiv (Cornell University)|Nov 28, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用数 10

ひとこと要約

本稿では、局所モデルの一般化を向上させることに焦点を当て、近接制約に依存しない、リソース効率の良い正則化手法であるFedAlignを提案する。学生モデルから知識を蒸留することで最終層のリプシッツ定数を正則化し、視覚ベンチマークにおいて最先端の精度を達成するとともに、MOON や GradAug といった最先端手法と比較して、計算リソースとメモリ使用量をそれぞれ65%以上、70%以上削減した。

ABSTRACT

Federated learning (FL) is a promising strategy for performing privacy-preserving, distributed learning with a network of clients (i.e., edge devices). However, the data distribution among clients is often non-IID in nature, making efficient optimization difficult. To alleviate this issue, many FL algorithms focus on mitigating the effects of data heterogeneity across clients by introducing a variety of proximal terms, some incurring considerable compute and/or memory overheads, to restrain local updates with respect to the global model. Instead, we consider rethinking solutions to data heterogeneity in FL with a focus on local learning generality rather than proximal restriction. To this end, we first present a systematic study informed by second-order indicators to better understand algorithm effectiveness in FL. Interestingly, we find that standard regularization methods are surprisingly strong performers in mitigating data heterogeneity effects. Based on our findings, we further propose a simple and effective method, FedAlign, to overcome data heterogeneity and the pitfalls of previous methods. FedAlign achieves competitive accuracy with state-of-the-art FL methods across a variety of settings while minimizing computation and memory overhead. Code is available at https://github.com/mmendiet/FedAlign

研究の動機と目的

• フェデレーテッドラーニングにおけるデータ非適合性の取り扱い方を、従来の近接正則化から局所学習一般化への再定式化すること。
• 高い計算コストやメモリコストを伴わずにモデル一般化を向上させる有効な正則化手法を同定すること。
• 多様な非IIDデータ環境においても高いパフォーマンスを維持できる軽量で効率的な手法を設計すること。
• 局所学習一般化の促進が、より良いグローバルモデルの収束性と耐性をもたらすかどうかを検証すること。
• フェデレーテッドラーニングにおいて、リソース効率と高い精度が両立できないわけではないことを示すこと。

提案手法

• FedAlignは、ニューラルネットワークの最終ブロックを正則化するために知識蒸留を用いる。特に、最終層の表現のリプシッツ定数に注目する。
• クライアントモデルの特徴表現をグローバルティーチャーモデルのものと一致させるために、学生-教師の蒸留損失を導入する。
• 正則化を最終層に限定することで、追加の計算コストとメモリコストを最小限に抑える。
• 蒸留損失は局所学習中に最適化され、グローバルモデルへの更新制限ではなく、一般化の促進を目的とする。
• 最適なパフォーマンスを得るために、蒸留重み（ω_S = 0.25）や温度（μ = 0.45）などのハイパーパrameterが調整されている。
• アーキテクチャに依存しないアプローチであり、特徴空間で動作するため、視覚タスクに加え、自然言語処理（NLP）タスクへの応用も可能である。

実験結果

リサーチクエスチョン

• RQ1 局所学習一般化の向上が、従来の近接正則化よりも、フェデレーテッドラーニングにおけるデータ非適合性の処理において優れているか？
• RQ2 非IIDフェデレーテッドラーニング環境において、パフォーマンスと計算効率の最良のトレードオフを実現する正則化手法は何か？
• RQ3 ネットワークの最終ブロックにのみ正則化を適用することで、リソースコストを最小限に抑えつつ顕著な性能向上が達成できるか？
• RQ4 MOON や GradAug といった最先端手法と比較して、FedAlign は多様なデータセットにおいて、精度と効率の両面で優れているか？
• RQ5 単純な蒸留ベースの手法が、計算量とメモリ使用量を削減しながらも、最先端のパフォーマンスを達成できるか？

主な発見

• FedAlignは、CIFAR-100 および ImageNet-200 で最先端の精度を達成し、FedAvg よりも約4.0%高い精度を実現したが、FLOPsはたった1.02倍にとどまった。
• MOON と比較して、FedAlign は精度を約1.9%向上させるとともに、局所計算のオーバーヘッドを65%以上、メモリ使用量を70%以上削減した。
• GradAug と比較して、n=2 の場合で約47%、n=1 の場合で約33%の計算要件を削減したが、精度に劣化は見られなかった。
• ImageNet-200 データセットでは、FedAlign は GradAug（n=1 および n=2）と同等またはそれを上回るパフォーマンスを発揮したが、はるかに低いリソース消費量を維持した。
• StochDepth は、ResNet18 においてネットワークの深さが減少したため性能を発揮しなかった。これは、実用的なフェデレーテッドラーニング環境において、幅に基づく正則化（例：FedAlign）の利点を示している。
• アブレーションスタディの結果、最終層に注目した蒸留ベースの正則化が、現実的なクライアントサンプリング環境においても、効果的かつ効率的であることが確認された。