[論文レビュー] Accelerating Asynchronous Federated Learning Convergence via Opportunistic Mobile Relaying

Jieming Bian, Jie Xu|arXiv (Cornell University)|Jun 9, 2022

Cooperative Communication and Network Coding被引用数 7

ひとこと要約

本稿では、クライアントの移動性を活用して、モデル更新のアップロードおよびダウンロードをより早期に実現する、非同期的フェデレーテッドラーニング（FL）アルゴリズムであるFedMobileを提案する。適切にタイミングをずらしたリレーメカニズムにより、FedMobileは収束速度 $O(1/\text{sqrt}(NT))$ を達成し、移動性が高くなるほど収束が早くなることが示された。実験では、合成データおよび実世界のデータセット（Fashion-MNIST、CIFAR-10）を用いて検証された。

ABSTRACT

This paper presents a study on asynchronous Federated Learning (FL) in a mobile network setting. The majority of FL algorithms assume that communication between clients and the server is always available, however, this is not the case in many real-world systems. To address this issue, the paper explores the impact of mobility on the convergence performance of asynchronous FL. By exploiting mobility, the study shows that clients can indirectly communicate with the server through another client serving as a relay, creating additional communication opportunities. This enables clients to upload local model updates sooner or receive fresher global models. We propose a new FL algorithm, called FedMobile, that incorporates opportunistic relaying and addresses key questions such as when and how to relay. We prove that FedMobile achieves a convergence rate $O(\frac{1}{\sqrt{NT}})$, where $N$ is the number of clients and $T$ is the number of communication slots, and show that the optimal design involves an interesting trade-off on the best timing of relaying. The paper also presents an extension that considers data manipulation before relaying to reduce the cost and enhance privacy. Experiment results on a synthetic dataset and two real-world datasets verify our theoretical findings.

研究の動機と目的

• クライアントがサーバーと断続的かつ任意のタイミングで通信するモバイルシステムにおいて、非同期フェデレーテッドラーニング（FL）の収束が遅いという問題に取り組む。
• クライアントの移動性を活用し、リレーベースのアップロードおよびダウンロードを通じて、クライアントとサーバーの間で間接的な通信機会を創出する。
• モデルの陳腐化を最小限に抑えるために、アップロードおよびダウンロードのリレーフェーズを最適にスケジューリングするアルゴリズムを設計する。
• 理論的および実証的に、移動性の向上がタイムリーなリレーリングを通じてFLの収束性能を向上させることを検証する。
• 複数のリレーコミュニケーションをサポートするフレームワークに拡張し、その収束への影響を分析する。

提案手法

• サーバーとの会議の間で、各クライアントが最大1つのアップロードおよび1つのダウンロードリレーリングを許可する非同期FLアルゴリズムであるFedMobileを提案する。
• リレーポリシーを導入：クライアントは、2回のサーバー会議の間の特定の時点（中央付近が最適）でリレーキャンディデートを探索し、新鮮さと利用可能性のバランスを取る。
• リレープロセスを2ホップ通信チェーン（クライアント → リレーデバイス → サーバー）としてモデル化することで、ローカル更新の早期アップロードとグローバルモデルの迅速なダウンロードを可能にする。
• 理論的分析により、クライアント数 $N$ と通信スロット数 $T$ に依存する収束速度 $O(1/\text{sqrt}(NT))$ を導出。リレータイミングにおけるトレードオフが示された。
• FedMobileを拡張し、1区間あたり複数のアップロードおよびダウンロードリレーリングを許可することで、さらなる性能向上を検討する。
• 固定間隔およびランダム間隔の通信パターン下で、合成データおよび実世界のデータセット（Fashion-MNIST、CIFAR-10）を用いて実験を行い、理論的主張の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 移動性を活用したオポチュニスティックなクライアント間通信が、非同期フェデレーテッドラーニングの収束を改善できるか？
• RQ2 アップロードおよびダウンロードリレーリングの最適タイミングは何か？ これにより、モデルの陳腐化を最小限に抑え、収束速度を最大化できるか？
• RQ3 クライアントの移動性は、サーバーとの間接的通信機会の数とそのタイムリーさにどのように影響を与えるか？
• RQ4 アップロードとダウンロードリレーリングを併用することで、単独で使用する場合と比較してどの程度の性能向上が達成できるか？
• RQ5 1区間あたり複数のリレーコミュニケーションを許可すると収束にどのような影響を与えるか？ また、実世界のデータ環境ではどのような実用的制限があるか？

主な発見

• FedMobileは理論的収束速度 $O(1/\text{sqrt}(NT))$ を達成し、リレーリングが非同期FLにおける学習の高速化に顕著に寄与することを示した。
• アップロードおよびダウンロードの最適リレータイミングは、2回の連続するサーバー会議の中央付近であり、新鮮さと利用可能性の理論的トレードオフを裏付けるものである。
• クライアントの移動性が高くなると、タイムリーなリレーオプポートーニティの数が増加し、収束が早くなる。これは、合成データおよび実世界のデータセットで確認された。
• アップロードとダウンロードリレーリングを併用することで、単独使用よりも顕著な性能向上が得られ、FMNISTの実験では、固定間隔設定下でFedMobileは110スロットで70％の精度を達成したのに対し、ASYNCは180スロットを要した。
• 複数のアップロードリレーリングは収束をさらに改善したが、複数のダウンロードリレーリングは実世界のデータセットでは限られた向上しか得られなかった。これは、データの複雑さが理論的仮定を満たさない可能性を示唆している。
• バーチャルリレーリング実験（Virtual-UおよびVirtual-D）により、サーバーとの通信頻度の向上が収束を改善することが確認された。特に、学習の初期段階および後期段階で顕著な効果が見られた。