[論文レビュー] Multi-Stage Hybrid Federated Learning over Large-Scale Wireless Fog Networks.

Seyyedali Hosseinalipour, Sheikh Shams Azam+5 more|arXiv (Cornell University)|Jul 18, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用数 11

ひとこと要約

本稿では、階層的クラスタ間で分散型のコンSENSUSを実施するマルチステージハイブリッドモデルトレーニング（MH-MT）と呼ばれる、大規模なワイヤレスフォッグネットワーク向けの新規フェデレーテッドラーニングフレームワークを提案する。この手法は、マルチステージパラメータリレイリングと階層的クラスタ間の分散型コンセンサスを組み合わせることで、各クラスタのコンセンサスラウンドを適応的に調整することにより、収束速度の向上とリソース利用効率の向上を実現する。理論的収束境界と制御ポリシーにより、ネットワークおよびモデルの状態が変化しても、有限の最適性ギャップまたはグローバル最適解への収束が保証される。

ABSTRACT

One of the popular methods for distributed machine learning (ML) is federated learning, in which devices train local models based on their datasets, which are in turn aggregated periodically by a server. In large-scale fog networks, the star learning topology of federated learning poses several challenges in terms of resource utilization. We develop multi-stage hybrid model training (MH-MT), a novel learning methodology for distributed ML in these scenarios. Leveraging the hierarchical structure of fog systems, MH-MT combines multi-stage parameter relaying with distributed consensus formation among devices in a hybrid learning paradigm across network layers. We theoretically derive the convergence bound of MH-MT with respect to the network topology, ML model, and algorithm parameters such as the rounds of consensus employed in different clusters of devices. We obtain a set of policies for the number of consensus rounds at different clusters to guarantee either a finite optimality gap or convergence to the global optimum. Subsequently, we develop an adaptive distributed control algorithm for MH-MT to tune the number of consensus rounds at each cluster of local devices over time to meet convergence criteria. Our numerical experiments validate the performance of MH-MT in terms of convergence speed and resource utilization.

研究の動機と目的

• 大規模なワイヤレスフォッグネットワークにおけるスターアーキテクチャのフェデレーテッドラーニングで生じるリソース利用の非効率性を是正すること。
• 従来のフェデレーテッドラーニングで生じる中央集権的パラメータ集約に起因するスケーラビリティおよび通信ボトルネックを克服すること。
• フォッグコンピューティングの階層的構造を活用し、中央サーバー依存を低減した分散型でレイヤードされたモデルトレーニングを可能にすること。
• ネットワークトポロジー、モデル複雑性、アルゴリズムパラメータを考慮した、提案されたハイブリッドトレーニングフレームワークの収束挙動を理論的に分析すること。
• 収束がグローバル最適解または有界最適性ギャップに到達するよう保証するため、各クラスタあたりのコンセンサスラウンド数を動的に調整する適応的制御ポリシーを開発すること。

提案手法

• フォッグネットワーククラスタ間で階層的にレイヤーを分けたモデル集約を実現するマルチステージハイブリッドトレーニングパラダイムを設計する。
• 各クラスタ内でのデバイス間で分散型コンセンサス形成を実装し、中央サーバーの協調依存度を低減する。
• MH-MTの理論的収束境界を導出する。この境界は、ネットワークトポロジー、モデルアーキテクチャ、および各クラスタあたりのコンセンサスラウンド数に依存する。
• グローバル最適解への収束または有限の最適性ギャップを保証するため、各クラスタあたりのコンセンサスラウンド数の最適ポリシーを導出する。
• 収束基準とローカルネットワーク状態に基づき、リアルタイムでコンセンサスラウンド数を調整する適応的分散制御アルゴリズムを開発する。
• 数値実験を用いて、さまざまなネットワークおよびモデル構成下での収束速度とリソース効率に関する性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 スターアーキテクチャの制限を受ける大規模で階層的なフォッグネットワークにおいて、フェデレーテッドラーニングをどのように再構築すればリソース利用効率を向上させられるか？
• RQ2 パラメータリレイリングと分散型コンセンサスを組み合わせたマルチステージハイブリッドトレーニングフレームワークの理論的収束挙動はいかなるものか？
• RQ3 MH-MTにおいて、グローバル最適解または有限の最適性ギャップへの収束を保証するための、各クラスタあたりのコンセンサスラウンド数のポリシーは何か？
• RQ4 収束基準を満たしつつリソース使用量を最小限に抑えるために、クラスタ間でコンセンサスラウンド数をどのように適応的に制御できるか？
• RQ5 大規模なワイヤレスフォッグネットワークにおいて、MH-MTは標準的なフェデレーテッドラーニングに比べて、収束速度および通信効率の面でどの程度優れているか？

主な発見

• MH-MTは、クラスタ内での分散型コンセンサスを活用することで、中央サーバーの負荷を軽減し、従来のフェデレーテッドラーニングに比べてより速い収束を達成する。
• 理論的分析により、MH-MTが各クラスタあたりのコンセンサスラウンド数に応じて、グローバル最適解への収束または有限の最適性ギャップの維持が保証されることを確認した。
• ネットワークトポロジー、モデル複雑性、アルゴリズムパラメータに基づいて、最適なコンセンサスラウンド数のポリシーを導出しており、収束保証が可能である。
• 適応的分散制御アルゴリズムにより、グローバルモデルダイナミクスの事前知識がなくても、各クラスタあたりのコンセンサスラウンド数を動的に調整し、収束効率を向上させた。
• 数値実験により、多様なネットワークおよびモデル構成下で、収束速度とリソース利用効率の顕著な向上が確認された。
• MH-MTは、集約処理の分散化と階層的クラスタリングの活用により、大規模フォッグネットワークにおける通信ボトルネックを効果的に緩和した。