[論文レビュー] Energy-Aware Analog Aggregation for Federated Learning with Redundant Data

Yuxuan Sun, Sheng Zhou+1 more|arXiv (Cornell University)|Nov 1, 2019

Privacy-Preserving Technologies in Data参考文献 18被引用数 12

ひとこと要約

本稿では、アナログ集合を用いた無線チャネルにおけるフェデレーテッドラーニングに向け、エネルギーに配慮した動的ワーカー予約ポリシーを提案する。この手法により、エネルギー制約下でも効率的なモデル更新が可能となる。データの冗長性とリャプノフ最適化を活用することで、近似的に最適な精度が達成され、データ保存容量を2倍にした場合、MNISTのテスト精度が9.8%向上する。また、きびしいエネルギー予算下でも、短視眼的ポリシーに比べ6%多くのワーカーを予約可能となる。

ABSTRACT

Federated learning (FL) enables workers to learn a model collaboratively by using their local data, with the help of a parameter server (PS) for global model aggregation. The high communication cost for periodic model updates and the non-independent and identically distributed (i.i.d.) data become major bottlenecks for FL. In this work, we consider analog aggregation to scale down the communication cost with respect to the number of workers, and introduce data redundancy to the system to deal with non-i.i.d. data. We propose an online energy-aware dynamic worker scheduling policy, which maximizes the average number of workers scheduled for gradient update at each iteration under a long-term energy constraint, and analyze its performance based on Lyapunov optimization. Experiments using MNIST dataset show that, for non-i.i.d. data, doubling data storage can improve the accuracy by 9.8% under a stringent energy budget, while the proposed policy can achieve close-to-optimal accuracy without violating the energy constraint.

研究の動機と目的

• 無線ネットワーク上でのフェデレーテッドラーニング（FL）における通信コストの高さと非i.i.d.データの課題に対処すること。
• 勾配更新のためのスケジューリング対象ワーカー数を最大化しつつ、エネルギー消費を低減すること。
• 非i.i.d.データの影響を軽減するため、データ交換または重複データ収集によるデータの冗長性を導入すること。
• リャプノフ最適化を用いて、性能保証付きのオンラインで分散型のエネルギーに配慮したスケジューリングポリシーを設計すること。
• 実世界の環境において、データ冗長性、エネルギー予算、モデル精度のトレードオフを評価すること。

提案手法

• リャプノフ最適化を用いて、リアルタイムのエネルギー利用可能性とキューのバックログに基づき、ワーカーを選択する動的スケジューリングポリシーを提案する。
• 無線マルチアクセスチャネルを介してアナログ集合を用い、波形の重ね合わせによりグローバルモデルの和を計算することで、通信オーバーヘッドを低減する。
• ワーカーが相互にデータを共有する、または重複するデータを収集することにより、データの冗長性を導入し、非i.i.d.データ分布に対する耐性を高める。
• ドリフト＋ペナルティフレームワークを用いて、エネルギー使用とスケジューリング性能のバランスを取る。エネルギー使用とキューのバックログを含むコスト関数を最小化する。
• スケジューリング意思決定の閉形式解を導出する：あるワーカーは、そのエネルギー不足をキューのバックログで重み付けした値が、ラグランジュ乗数を含むしきい値未満である場合にのみスケジューリングされる。
• リャプノフドリフトを用いた性能分析により、このポリシーが、バッファの安定性とエネルギー制約の満たされ方を保証しつつ、近似的に最適なユーティリティを達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.データを有するフェデレーテッドラーニングシステムにおいて、エネルギー制約下のワーカーをどのように効率的にスケジューリングできるか？
• RQ2 限られたエネルギー予算下で、データの冗長性がどれほどモデル精度の向上に寄与するか？
• RQ3 将来の情報やチャネル状態情報なしに、オンラインで分散型のスケジューリングポリシーが近似的に最適な性能を達成できるか？
• RQ4 本稿で提案する動的ポリシーは、短視眼的スケジューリングポリシーと比較して、ワーカーの利用度と収束速度の点でどのように優れているか？
• RQ5 アナログ集合によるフェデレーテッドラーニングにおいて、データ冗長性、エネルギー消費、モデル精度のトレードオフはどのように変化するか？

主な発見

• データ保存容量を2倍にした（冗長要因 r=2）場合、きびしいエネルギー予算5 Jのもとで、MNISTモデルの精度が9.8%向上した。
• 提案されたエネルギーに配慮した動的スケジューリングポリシーは、1イテレーションあたり平均90.9%のワーカー予約率を達成し、同じエネルギー予算下で短視眼的ポリシーの84.6%を上回った。
• エネルギーが豊富な初期段階で、動的ポリシーはより多くのワーカーをスケジューリングすることで、MLPモデルの収束を加速した。
• リャプノフ最適化を用いた理論的分析により、長期的なエネルギー制約を厳密に満たしつつ、ほぼ最適な精度を達成することが証明された。
• さらにデータ冗長性を高めても、r=2を超えると精度向上の効果は次第に小さくなる（次第に効果が薄れる）。
• 理論的分析により、このポリシーが、時間の経過とともにバッファのバックログが有界に保たれ、エネルギー制約を高い確率で満たすことが確認された。