[論文レビュー] Sustainable Federated Learning

Başak Güler, Aylin Yener|arXiv (Cornell University)|Feb 22, 2021

Privacy-Preserving Technologies in Data参考文献 37被引用数 11

ひとこと要約

本稿では、再生可能エネルギー源を用いた間欠的電力供給デバイスを対象とした持続可能なフェデレーテッドラーニングフレームワークを提案する。非一様なエネルギー供給にもかかわらず収束を保証するクライアントスケジューリング戦略を導入している。CIFAR-10では77%のテスト精度を達成しており、エネルギーに依存しないFedAvgと同等の性能を示す一方、ベンチマークより15–17ポイント優れている。これは、実世界のエネルギー制約環境下でも、頑健性と効率性を兼ね備えていることを示している。

ABSTRACT

Potential environmental impact of machine learning by large-scale wireless networks is a major challenge for the sustainability of future smart ecosystems. In this paper, we introduce sustainable machine learning in federated learning settings, using rechargeable devices that can collect energy from the ambient environment. We propose a practical federated learning framework that leverages intermittent energy arrivals for training, with provable convergence guarantees. Our framework can be applied to a wide range of machine learning settings in networked environments, including distributed and federated learning in wireless and edge networks. Our experiments demonstrate that the proposed framework can provide significant performance improvement over the benchmark energy-agnostic federated learning settings.

研究の動機と目的

• 無線およびエッジネットワークにおける大規模な機械学習の環境的影響を軽減するため、フェデレーテッドラーニングに再生可能エネルギー源を統合する。
• クライアント間でエネルギー供給が間欠的かつ非一様である状況下でも運用可能な実用的なフェデレーテッドラーニングフレームワークを開発する。
• エネルギー制約や変動するクライアント参加状況があっても、モデル学習の収束保証を確保する。
• 頻繁に電源が供給されるクライアントにバイアスが生じるのを軽減し、最もエネルギーが少ないクライアントを待つことで生じる遅い収束を回避する。
• 実世界のエネルギー可用性に合わせて学習を調整することで、分散型システムにおけるスケーラブルでグリーンなAIを実現する。

提案手法

• エネルギーの可用性に基づいて参加を決定するクライアントスケジューリングポリシーを提案し、均一なエネルギーアクセスに依存しないようにする。
• エネルギーの可用性と収束目的に基づき、動的にクライアントを選択する修正されたフェデレーテッド平均化アルゴリズム（アルゴリズム1）を導入する。
• エネルギーが利用可能なクライアントからのみ局所更新を集約するグローバルモデル更新メカニズムを採用し、エネルギーが間欠的であっても収束を保証する。
• 非i.i.d.なエネルギー到着プロセス下での収束を理論的に証明し、クライアント選択に関する先行研究を拡張する。
• エネルギー効率性とモデル精度のバランスを取るフレームワークを設計し、バイアスや長時間の待機期間を回避する。

実験結果

リサーチクエスチョン

• RQ1 エッジデバイスからの間欠的かつ非一様なエネルギー供給がある状況下で、フェデレーテッドラーニングをどのようにして持続可能にすることができるか？
• RQ2 エネルギー制約による性能劣化を最小限に抑えるとともに、収束を保証するクライアントスケジューリング戦略は何か？
• RQ3 エネルギーに依存しないフェデレーテッドラーニングとエネルギーに配慮した戦略とを比較すると、モデルの精度と収束速度の面でどのような差異が生じるか？
• RQ4 エネルギーが間欠的である状況下で学習されたモデルは、エネルギーに依存しないベースラインと同等の性能を達成できるか？
• RQ5 エネルギーの可用性がクライアント間で異なる場合、収束速度と公平性の間にはどのようなトレードオフが生じるか？

主な発見

• 提案フレームワークは、CIFAR-10で1,000ラウンドのグローバルラウンド内で77%のテスト精度を達成し、エネルギーに依存しないFedAvgと同等の性能を示した。
• ベンチマーク1（最初にエネルギーが利用可能になったクライアントが即座に学習を開始）は、頻繁に電源が供給されるクライアントにバイアスが生じたため、60%の精度にとどまった。
• ベンチマーク2（各更新前に全クライアントがエネルギーを確保するのを待つ）は、長時間の待機期間による極めて遅い収束のため、62%の精度にとどまったが、性能は著しく劣化した。
• 提案手法は、両ベンチマークより15–17ポイントの精度で優れており、優れた頑健性と効率性を示している。
• 本フレームワークは、エネルギー供給が間欠的であっても収束を保証するため、実世界の持続可能なAIシステムへの信頼できる導入が可能である。