[論文レビュー] EDEN: Communication-Efficient and Robust Distributed Mean Estimation for Federated Learning

Shay Vargaftik, Ran Ben Basat+4 more|arXiv (Cornell University)|Aug 19, 2021

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

EDEN は、異種の通信予算とパケット損失の下でも偏りのない低誤差の分散平均推定を実現する通信効率的で頑健な分散平均推定（DME）アルゴリズムであり、ランダム回転と決定的量子化を組み合わせることで、非均質な通信環境下でも高い性能を発揮する。エラー補正機構を不要とする一方で、極めて低い通信コストで最先端の手法を上回る、低歪みの正規化平均二乗誤差（NMSE）を達成する。特に過酷な圧縮やネットワーク損失の下でも優れた性能を示す。

ABSTRACT

Distributed Mean Estimation (DME) is a central building block in federated learning, where clients send local gradients to a parameter server for averaging and updating the model. Due to communication constraints, clients often use lossy compression techniques to compress the gradients, resulting in estimation inaccuracies. DME is more challenging when clients have diverse network conditions, such as constrained communication budgets and packet losses. In such settings, DME techniques often incur a significant increase in the estimation error leading to degraded learning performance. In this work, we propose a robust DME technique named EDEN that naturally handles heterogeneous communication budgets and packet losses. We derive appealing theoretical guarantees for EDEN and evaluate it empirically. Our results demonstrate that EDEN consistently improves over state-of-the-art DME techniques.

研究の動機と目的

• 通信制約とネットワークの非均質性によるフェデレーテッドラーニングにおける分散平均推定の不正確さという課題に対処すること。
• さまざまなクライアントの通信予算とパケット損失の下でも偏りのない推定を維持できる DME 方法を設計すること。
• 通信オーバーヘッドを最小限に抑えつつ、既存手法よりも低い正規化平均二乗誤差（NMSE）を達成すること。
• 誤差フィードバック機構を排除するために、頑健な量子化により偏りのない推定を保証すること。
• 低ビット予算下でも、クロスデバイスおよび均質なフェデレーテッドラーニング環境での効果的なモデルアグリゲーションを可能にすること。

提案手法

• クライントの勾配に一様なランダム回転を適用し、座標の大きさを均一化し、量子化誤差を低減する。
• 回転後のベクトルに対して決定的1ビット量子化を実施し、その後スケーリングすることで不偏性を維持する。
• 推定誤差を回転、量子化、スパarsification の各成分に分解し、理論的分析を可能にする。
• ネットワークパケット損失を独立なスパース化プロセスとしてモデル化し、EDEN の誤差が回転と損失の順序に依存しないことを示す。
• クライントが回転・量子化済みの勾配を送信し、サーバーが逆回転と平均化を実行することで、フェデレーテッドラーニングパイプラインに統合する。
• 理論的分析により、EDEN が部分的または任意のパケット損失下でも、各座標あたり O(1) ビットで NMSE が O(1/n) に達することを証明している。

実験結果

リサーチクエスチョン

• RQ1 エラー補正に依存せずに、任意のパケット損失と非均質な通信予算下でも、DME 構成が低推定誤差を維持できるか？
• RQ2 ランダム回転と決定的量子化の組み合わせが、分散環境における平均推定のバイアスと分散に与える影響は何か？
• RQ3 ネットワーク損失を一種のスパース化とみなした DME 方法の理論的誤差境界は何か？ また、標準的な圧縮手法と比較してどうなるか？
• RQ4 限られたビット予算とデータの非均質性がある実際のフェデレーテッドラーニング環境において、EDEN の性能はいかがなものか？
• RQ5 他の手法が失敗するような極端な低ビットレート（例：1 グラディエント座標あたり 0.1〜0.5 ビット）でも、EDEN は収束を達成できるか？

主な発見

• EDEN は各座標あたり O(1) ビットで NMSE を O(1/n) に達成しており、最先端手法の理論的下界と一致するが、より頑健である。
• パケット損失下では、EDEN の vNMSE（ベクトル化された NMSE）は、同じ割合の受信座標を持つサブビット圧縮と同等であり、その頑健性を裏付けている。
• PCA の分散パワー反復法において、MNIST および CIFAR-10 で全ビット予算（1〜8ビット）において L2 誤差が最小である。
• 10 クライアントの均質なフェデレーテッドラーニング環境において、CIFAR-10 および CIFAR-100 で、特に低ビット予算（例：1 グラディエント座標あたり 0.1〜0.5 ビット）下で最高のテストおよびトレーニング精度を達成した。
• 50 クライアントのクロスデバイスフェデレーテッドラーニング環境で、1 グラディエント座標あたり 0.05 ビットの予算下でも、EDEN は顕著なラベル偏りの下でも MNIST および CIFAR-10 で高い精度を維持し、すべてのベースラインを上回った。
• CIFAR-100 において 0.5 ビット予算下で唯一収束を達成したのは EDEN であり、極端な圧縮環境下での有効性を示している。