[論文レビュー] Delay Analysis of Wireless Federated Learning Based on Saddle Point Approximation and Large Deviation Theory

Lintao Li, Longwei Yang+5 more|arXiv (Cornell University)|Mar 31, 2021

Privacy-Preserving Technologies in Data参考文献 51被引用数 5

ひとこと要約

本稿では、鞍点近似、大偏差理論（LDT）、極値理論（EVT）を用いて、任意の fading 回路における無線フェデレーテッドラーニング（FL）の遅延分布を統一的に分析するフレームワークを提案する。このフレームワークにより、任意の fading 回路におけるトレーニング遅延の尾部分布を高精度に近似可能であり、トレーニング精度が向上するにつれて近似誤差が減少する。

ABSTRACT

Federated learning (FL) is a collaborative machine learning paradigm, which enables deep learning model training over a large volume of decentralized data residing in mobile devices without accessing clients' private data. Driven by the ever increasing demand for model training of mobile applications or devices, a vast majority of FL tasks are implemented over wireless fading channels. Due to the time-varying nature of wireless channels, however, random delay occurs in both the uplink and downlink transmissions of FL. How to analyze the overall time consumption of a wireless FL task, or more specifically, a FL's delay distribution, becomes a challenging but important open problem, especially for delay-sensitive model training. In this paper, we present a unified framework to calculate the approximate delay distributions of FL over arbitrary fading channels. Specifically, saddle point approximation, extreme value theory (EVT), and large deviation theory (LDT) are jointly exploited to find the approximate delay distribution along with its tail distribution, which characterizes the quality-of-service of a wireless FL system. Simulation results will demonstrate that our approximation method achieves a small approximation error, which vanishes with the increase of training accuracy.

研究の動機と目的

• 時間変動する fading 回路による影響を受ける無線フェデレーテッドラーニングにおけるエンドツーエンド遅延分布を特定する課題に対処すること。
• 任意の fading 回路に適用可能な統一的な解析フレームワークを提供し、無線FLシステムにおける遅延をモデル化すること。
• トレーニング遅延の尾部分布を近似することで、遅延に敏感なアプリケーションにとって重要な品質保証（QoS）の評価を可能にすること。
• 従来の研究の限界を克服するため、鞍点近似、EVT、LDTを併用して高精度な遅延モデリングを実現すること。

提案手法

• 鞍点近似を適用し、無線FLにおける1イテレーション遅延の確率密度関数を導出する。
• 極値理論（EVT）を用いて、複数のクライアント間での最大遅延をモデル化し、遅延の遅延（straggler）効果を捉える。
• 大偏差理論（LDT）を用いて、複数イテレーションにわたる累積トレーニング遅延の尾部分布を分析する。
• イテレーション遅延のモーメント生成関数（CGF）を導出し、Legendre変換を用いてレート関数を計算する。
• 個々のイテレーション遅延の分布と収束基準に達するまでのイテレーション回数を組み合わせ、総トレーニング遅延をモデル化する。
• 確率生成関数（PGF）を用いて、イテレーション回数と全体の遅延分布を結びつける。

実験結果

リサーチクエスチョン

• RQ1 任意の fading 回路下での無線フェデレーテッドラーニングの遅延分布をどのように解析的に特徴づけられるか？
• RQ2 遅延の遅延（straggler）効果およびチャネルの変動性は、無線FLにおける全体のトレーニング遅延にどのような影響を及えるか？
• RQ3 品質保証（QoS）評価のため、トレーニング遅延の尾部分布をどの程度高精度に近似できるか？
• RQ4 鞍点近似と大偏差理論を併用することで、スケーラブルかつ高精度な遅延解析フレームワークを構築できるか？

主な発見

• 提案フレームワークは、トレーニング精度が向上するにつれて減少する小さな近似誤差を達成する。
• 大偏差理論を用いることで、総トレーニング遅延の尾部分布が高精度に近似可能であり、稀だが重要な遅延イベント下での性能評価が可能になる。
• 本手法は、上行リンクおよび下行リンクの伝送遅延の併合効果、特に遅延の遅延（straggler）に起因するボトルネックを効果的にモデル化する。
• フレームワークは一般性に富み、特定のチャネルモデルに限定されない任意の fading 回路に適用可能である。
• シミュレーション結果により、鞍点近似およびLDTに基づく近似の正確性が検証され、特に遅延に敏感なアプリケーションにとって重要な尾部領域で顕著である。
• 遅延分布およびその尾部の導出式は、システム設計および最適化においてスケーラブルかつ計算的に実行可能である。