[論文レビュー] FedGCN: Convergence-Communication Tradeoffs in Federated Training of Graph Convolutional Networks

Yuhang Yao, Jin, Weizhao+2 more|arXiv (Cornell University)|Jan 28, 2022

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

FedGCN は、事前学習中にクライアント間の隣接情報のやり取りを一度だけ行うことで、高速な収束と通信コストの著しい削減を達成する、新しいフェデレーテッド・グラフ畳み込みネットワークフレームワークを提案する。同フレームワークは同型暗号を用いてプライバシーを保護する。既存手法と比較して通信コストを100倍以上削減し、平均で収束速度を51.7%向上する。

ABSTRACT

Methods for training models on graphs distributed across multiple clients have recently grown in popularity, due to the size of these graphs as well as regulations on keeping data where it is generated. However, the cross-client edges naturally exist among clients. Thus, distributed methods for training a model on a single graph incur either significant communication overhead between clients or a loss of available information to the training. We introduce the Federated Graph Convolutional Network (FedGCN) algorithm, which uses federated learning to train GCN models for semi-supervised node classification with fast convergence and little communication. Compared to prior methods that require extra communication among clients at each training round, FedGCN clients only communicate with the central server in one pre-training step, greatly reducing communication costs and allowing the use of homomorphic encryption to further enhance privacy. We theoretically analyze the tradeoff between FedGCN's convergence rate and communication cost under different data distributions. Experimental results show that our FedGCN algorithm achieves better model accuracy with 51.7% faster convergence on average and at least 100X less communication compared to prior work.

研究の動機と目的

• フェデレーテッドGCN学習におけるクロスクライアントエッジに起因する高い通信負荷とプライバシーリスクを軽減すること。
• 学習開始前に一度だけ隣接情報を交換することで、クライアント間の通信を最小限に抑えつつ、モデルの精度を維持すること。
• 同型暗号を用いて通信コストを最小限に抑えつつ、プライバシーを保護するGCN学習を可能にすること。
• i.i.d.および非i.i.d.データ分布下での収束速度と通信コストのトレードオフを理論的に分析すること。
• 既存のフェデレーテッドGCN手法と比較して、FedGCNの精度、収束速度、通信効率の優位性を実験的に検証すること。

提案手法

• FedGCN は、クライアントが中央サーバーと隣接特徴情報を1回だけ交換する事前学習ラウンドを実行し、以降の学習ラウンドでの繰り返し通信を排除する。
• サーバーでは同型暗号を用いて隣接特徴を安全に集約し、クライアントのプライバシーを保持しつつ、暗号処理コストを最小限に抑える。
• ノードの分布とクロスクライアントエッジの確率に基づいて通信コストをモデル化し、パラメータ α（エッジ共有確率）と μ（非i.i.i.不均衡要因）を用いる。
• i.i.d.データの場合、通信コストは $ N(1 + (C-1)rac{eta N}{CK})d $ で近似され、β は隣接情報共有の影響を表す。非i.i.d.データの場合、$ p $ および $ rac{N(C-p)}{CK} $ を用いてデータ不均衡の影響を組み込む。
• 1ホップ、2ホップ、Lホップの隣接特徴集約をサポートし、通信コストはホップ数および隣接ノード数に比例して線形に増加する。
• ノードが1つのクロスクライアント隣接ノードしか持たない極端な状況では微分プライバシーを統合し、さらにプライバシー保護を強化する。

実験結果

リサーチクエスチョン

• RQ1 繰り返し通信を伴わずに、フェデレーテッドGCN学習においてクロスクライアントエッジ情報の効率的な転送は可能か？
• RQ2 異なるデータ分布下でのフェデレーテッドGCN学習において、収束速度と通信コストの理論的トレードオフはいかなるものか？
• RQ3 1回の事前学習通信ラウンドで、繰り返し通信を要する従来のフェデレーテッドGCN手法と同等またはそれ以上のモデル精度を達成できるか？
• RQ4 同型暗号の使用が、フェデレーテッドGCN学習における通信コストとプライバシー保護に与える影響は何か？
• RQ5 既存手法と比較して、FedGCN の収束速度および通信削減のパフォーマンス向上はどの程度か？

主な発見

• FedGCN は、従来のフェデレーテッドGCN手法と比較して、平均で51.7%の収束速度向上を達成する。
• 繰り返しクライアント-サーバー通信を要する既存手法と比較して、通信コストを最低でも100倍削減する。
• i.i.d.設定では、通信コストが $ N(1 + (C-1)rac{eta N}{CK})d $ で上限づけられ、β はエッジ共有確率およびデータ分布に依存する。
• 非i.i.d.データの場合、通信コストは $ ((1- u)p + u C)rac{eta N(C-1)}{CK} + 1)Nd $ で近似され、データ不均衡の影響が反映される。
• 同型暗号を用いた安全な学習が、1回の通信ラウンドで実現可能であり、暗号処理コストが著しく低減される。
• 実験結果により、FedGCN は通信量を著しく削減しながらも高いモデル精度を維持し、収束を加速することが確認された。