[論文レビュー] Cross-Silo Federated Learning for Multi-Tier Networks with Vertical and Horizontal Data Partitioning

Anirban Das, Timothy Castiglia+2 more|arXiv (Cornell University)|Aug 19, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用数 4

ひとこと要約

本稿では、垂直的および水平的データ分割を伴うマルチティアネットワークを想定した、通信効率の高い分散型フェデレーテッドラーニングアルゴリズムであるTiered Decentralized Coordinate Descent (TDCD) を提案する。各スイロ内のクライアントは、ハブに共有する前に複数回の局所的更新を実行し、ハブ同士が中間の更新を交換することで、通信オーバーヘッドを低減しつつ収束を達成する。収束速度の理論的保証は、局所的ステップ数と垂直的パーティショニングの両方に依存する。

ABSTRACT

We consider federated learning in tiered communication networks. Our network model consists of a set of silos, each holding a vertical partition of the data. Each silo contains a hub and a set of clients, with the silo's vertical data shard partitioned horizontally across its clients. We propose Tiered Decentralized Coordinate Descent (TDCD), a communication-efficient decentralized training algorithm for such two-tiered networks. The clients in each silo perform multiple local gradient steps before sharing updates with their hub to reduce communication overhead. Each hub adjusts its coordinates by averaging its workers' updates, and then hubs exchange intermediate updates with one another. We present a theoretical analysis of our algorithm and show the dependence of the convergence rate on the number of vertical partitions and the number of local updates. We further validate our approach empirically via simulation-based experiments using a variety of datasets and objectives.

研究の動機と目的

• スイロ間で垂直的パーティショニングがなされ、各スイロ内で水平的パーティショニングがなされるマルチティアネットワークにおいて、グローバルモデルの学習を効率的に行う課題に対処すること。
• スイロ間通信の前に複数回の局所的更新を許容することで、フェデレーテッドラーニングにおける通信オーバーヘッドを低減すること。
• 複雑なデータパーティショニングと通信制約の下でも収束保証を維持する分散型トレーニングアルゴリズムを開発すること。
• 局所的ステップ数と垂直的パーティション数の観点から、提案アルゴリズムの収束速度を理論的に分析すること。
• 多様なデータセットと目的関数を用いたシミュレーションにより、手法の実証的妥当性を検証すること。

提案手法

• TDCD は二段階ネットワークで動作する：各スイロ内のクライアントは、ハブに更新を送信する前に複数回の局所的勾配ステップを実行する。
• 各ハブは、クライアントからの更新を座標平均を用いて集約することで、モデルの一貫性を維持する。
• ハブ同士が中間モデル更新を交換することで、スイロ間での進行状況を同期化する。
• アルゴリズムは、各スイロがモデル座標のサブセットのみを最適化する分散型座標降下フレームワークを採用する。
• 理論的分析により収束速度の上限が導出され、垂直的パーティション数と局所的ステップ数に依存することが示された。
• 主な技術的貢献として、有界な勾配とノイズを伴う非凸最適化における収束バウンドの導出がなされた。

実験結果

リサーチクエスチョン

• RQ1 垂直的および水平的データパーティショニングを伴うマルチティアネットワークにおけるフェデレーテッドラーニングを、どのように効率的にスケーリングできるか？
• RQ2 複数回の局所的更新が、垂直的フェデレーテッドラーニングにおける収束性と通信効率に与える影響は何か？
• RQ3 垂直的パーティション数（すなわちスイロ数）がグローバルモデルの収束速度に与える影響は何か？
• RQ4 分散型で通信効率の高いアルゴリズムは、このような複雑なネットワーク構造とデータ構造においても収束保証を維持できるか？
• RQ5 この設定において、局所的計算と通信頻度の間のトレードオフは何か？

主な発見

• TDCD は、収束速度が垂直的パーティション数と通信ラウンドごとの局所的更新回数に依存することを理論的境界で示した。
• スイロ間通信の前に複数回の局所的更新を許容することで、通信オーバーヘッドを低減し、高レイテンシネットワークにおける効率性を向上させた。
• 理論的分析により、有界な勾配と確率的ノイズを伴う非凸目的関数に対しても、この手法が収束することが確認された。
• 収束速度は学習率と局所的ステップ数に反比例する項によって上限づけられており、ある数の局所的ステップを超えると収束の改善が鈍くなる。
• 実験的シミュレーションにより、複数のデータセットで本手法の有効性が検証され、トレーニング効率と収束安定性の向上が示された。
• データ転送を最小限に抑えつつモデルの精度を維持できるため、医療や金融などプライバシーが重視される多機関環境に適している。