[論文レビュー] GLASU: A Communication-Efficient Algorithm for Federated Learning with Vertically Distributed Graph Data

Xinwei Zhang, Mingyi Hong+1 more|arXiv (Cornell University)|Mar 16, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

GLASU は、クライアントが部分的なノード特徴量と非交差なエッジ集合を保持する垂直分散グラフデータを対象とした通信効率の良いフェデレーテッドラーニングアルゴリズムである。GLASU は GNN をクライアントとサーバーに分割し、ラグド・アグリゲーションと古くなった更新を使用することで、通信量を $QL/K$ 倍に削減する。中央集権的トレーニングの精度を達成しつつ、著しく低い通信オーバーヘッドを実現し、収束保証を維持する。

ABSTRACT

Vertical federated learning (VFL) is a distributed learning paradigm, where computing clients collectively train a model based on the partial features of the same set of samples they possess. Current research on VFL focuses on the case when samples are independent, but it rarely addresses an emerging scenario when samples are interrelated through a graph. For graph-structured data, graph neural networks (GNNs) are competitive machine learning models, but a naive implementation in the VFL setting causes a significant communication overhead. Moreover, the analysis of the training is faced with a challenge caused by the biased stochastic gradients. In this paper, we propose a model splitting method that splits a backbone GNN across the clients and the server and a communication-efficient algorithm, GLASU, to train such a model. GLASU adopts lazy aggregation and stale updates to skip aggregation when evaluating the model and skip feature exchanges during training, greatly reducing communication. We offer a theoretical analysis and conduct extensive numerical experiments on real-world datasets, showing that the proposed algorithm effectively trains a GNN model, whose performance matches that of the backbone GNN when trained in a centralized manner.

研究の動機と目的

• 特徴量とエッジが垂直に分割されたグラフ構造データに対する通信効率の良いフェデレーテッドラーニング手法の不足に応えること。
• 垂直フェデレーテッドラーニングにおける GNN の近傍アグリゲーションに起因する高い通信オーバーヘッドを低減すること。
• 複数のクライアントとサーバー間で GNN のトレーニングを可能にしつつ、モデルの精度とプライバシーを維持すること。
• 古くなった表現による勾配の偏りと相関する更新が生じる状況下でも、理論的収束保証を提供すること。
• 既存の GNN アーキテクチャと標準的なフェデレーテッドラーニングプロトコルと互換性を持つ柔軟なフレームワークを設計すること。

提案手法

• GNN モデルをクライアントとサーバーに分割し、クライアントが特徴表現とローカルな GNN レイヤーを保持し、サーバーはアグリゲーションと配布のみを担当する。
• K 個の GNN レイヤーのうち L 個のうち K 個をスキップするラグド・アグリゲーションを適用し、通信頻度を低減する。
• クライアントが古くなったグローバルモデルパラメータを使用することにより、古くなった更新を活用し、さらに通信量を削減する。
• K 個のレイヤーで部分的なノード表現のみを Q 回ごとに通信し、理論的な通信削減係数 $QL/K$ を達成する。
• 誤差分解解析を統合し、勾配バイアスを制限し、収束速度 $\mathcal{O}((TQ)^{-1})$ の理論的証明を行う。
• 既存の VFL 手法および集中型トレーニングと後方互換性を持たせ、例えば $K=1$、$K=L$、または単一クライアントの場合に特殊ケースとして回復可能である。

Figure 1: Data isolation of vertically distributed graph-structured data over three clients.

実験結果

リサーチクエスチョン

• RQ1 特徴量とエッジが分散されたグラフ構造データに対する通信効率の良いアルゴリズムを設計できるか？
• RQ2 GNN の近傍アグリゲーションを最適化することで、モデル精度を損なわず通信量を低減できるか？
• RQ3 古くなった更新と勾配バイアスが生じるフェデレーテッド GNN 環境下で、どのような理論的収束保証を確立できるか？
• RQ4 集中型トレーニングと同等のパフォーマンスを維持しつつ、通信量をどの程度削減できるか？
• RQ5 提案された GLASU フレームワークは、さまざまな GNN アーキテクチャや実世界のグラフデータセットにどの程度一般化できるか？

主な発見

• Cora、PubMed、CiteSeer、HeriGraph、Reddit データセットにおいて、GLASU は集中型トレーニングと同等のテスト精度を達成し、性能低下は最小限に抑えられる。
• 通信オーバーヘッドが最大 $QL/K$ 倍に削減され、通信ラウンド数の削減により実験的に顕著な高速化が確認された。
• 収束速度 $\mathcal{O}((TQ)^{-1})$ を維持し、勾配誤差分解の理論的分析により検証された。
• Reddit および HeriGraph では、通信の削減のおかげでベースライン手法と比較してトレーニング時間を 70% 以上短縮した。
• フレームワークは既存の VFL および GNN 手法に一般化可能であり、[2]、[8]、[9]、および集中型トレーニングを特殊ケースとして回復できる。

Figure 2: Illustration of the split model on $M=3$ clients with lazy aggregation. In the model, the second server aggregation layer is skipped and the graph size used by each layer gradually decreases, due to neighborhood aggregation (inverse of neighborhood sampling).