[論文レビュー] Throughput-Optimal Topology Design for Cross-Silo Federated Learning

Othmane Marfoq, Chuan Xu+2 more|arXiv (Cornell University)|Oct 23, 2020

Privacy-Preserving Technologies in Data参考文献 99被引用数 50

ひとこと要約

この論文は、max-plus 線形システムを用いてクロスシロ学習のシステムスループットを最大化するためのトポロジを設計し、サーバー中心および MATCHA ベースのアプローチよりも大幅な学習スピードアップを示す。

ABSTRACT

Federated learning usually employs a client-server architecture where an orchestrator iteratively aggregates model updates from remote clients and pushes them back a refined model. This approach may be inefficient in cross-silo settings, as close-by data silos with high-speed access links may exchange information faster than with the orchestrator, and the orchestrator may become a communication bottleneck. In this paper we define the problem of topology design for cross-silo federated learning using the theory of max-plus linear systems to compute the system throughput---number of communication rounds per time unit. We also propose practical algorithms that, under the knowledge of measurable network characteristics, find a topology with the largest throughput or with provable throughput guarantees. In realistic Internet networks with 10 Gbps access links for silos, our algorithms speed up training by a factor 9 and 1.5 in comparison to the master-slave architecture and to state-of-the-art MATCHA, respectively. Speedups are even larger with slower access links.

研究の動機と目的

• Motivation: クロスシロ設定におけるファデレーテッドラーニングの効率を、シロ間高速リンクを活用して改善する。
• Goal: オーバーレイ接続を尊重しつつ、訓練スループット（時間単位あたりのラウンド数）を最大化する通信トポロジを設計する。
• Approach: トポロジ設計にネットワーク測定を統合し、max-plus システムのサイクルタイムを最小化する。
• Outcome: 最適またはほぼ最適な保証を持つアルゴリズムを提供し、現実的なネットワークトポロジでのスピードアップを検証する。

提案手法

• トレーニングプロセスをローカル更新と隣接ノードとの通信を含む同期型 DPASGDとしてモデル化する。
• オーバーレイエッジの遅延を do(i,j)=s·T_c(i)+l(i,j)+M/A(i′,j′) により、アンダーレイ、接続性、オーバーレイグラフを用いて定義する。
• サイクルタイムを max-plus代数で定式化する：τ(G_o)=max_γ d_o(γ)/|γ|、スループットを 1/τ(G_o)として定義する。
• エッジ容量制約およびノード容量制約の設定（MCT 問題）下でトポロジ設計アルゴリズムを提案する。
• 近似解と最適性の結果を提供する：エッジ容量制約の無向オーバーレイに対する Prim の MST；ユークリッド距離を持つエッジ容量制約グラフに対する Christofides による 3N-近似解；特定のノード容量のユークリッドケースに対する 6-近似；有向オーバーレイに対する NP-hard性の結果。
• STAR および MATCHA/MATCHA+ オーバーレイに対する実用的な性能比較を示す。

実験結果

リサーチクエスチョン

• RQ1 クロスシロ FL で、接続性グラフ G_c の中でオーバーレイ G_o を設計して、サイクルタイムを最小化しスループットを最大化するにはどうするべきか？
• RQ2 エッジ容量制約対ノード容量制約、無向対有向オーバーレイにおける MCT のアルゴリズム保証（最適性/近似）はどのようになるか？
• RQ3 アンダーレイ遅延、計算時間、待ち行列を考慮した場合、提案されたトポロジ設計は訓練時間と収束にどのように影響するか？
• RQ4 現実的なネットワークにおいて、スループット重視のトポロジはサーバー中心またはスペクトル最適化オーバーレイよりも実測の wall-clock 訓練を速くするか？

主な発見

• スループット最大化を狙ったオーバーレイは、STAR より速い訓練時間を達成し、多くのネットワークで MATCHA/MATCHA+ よりも優れることが多い。
• RING、MST、δ-MBST トポロジはサイクルタイムを大幅に短縮し、RING は遅いアクセス領域で STAR に対して最大で 2N 倍高速。
• iNaturalist の実験では、アンダーレイ/接続データから設計されたオーバーレイはサイクルタイムを大幅に改善し、_wall-clock_ の速度向上へと結びついた。
• 遅いアクセスリンクの場合、低次数オーバーレイ（例：RING、MST、δ-MBST）は、各ラウンドの遅延を減らすために高次数オーバーレイより優れている。
• MATCHA+ はいくつかのベースラインを上回ることがあるが、アンダーレイ知識を要する場合がある；アンダレイ仮定なしのスループット重視設計でも実践的には上回る。