[論文レビュー] SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks

Chaoyang He, Emir Ceyani+3 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Graph Neural Networks参考文献 68被引用数 29

ひとこと要約

SpreadGNNは部分ラベルを持つグラフニューラルネットワークのサーバーレス、マルチタスク連合学習を、分散型周期的平均SGDとタスク関係正則化を用いて、非IID分子グラフデータセットにおける中心化FLベースラインを上回る。

ABSTRACT

Graph Neural Networks (GNNs) are the first choice methods for graph machine learning problems thanks to their ability to learn state-of-the-art level representations from graph-structured data. However, centralizing a massive amount of real-world graph data for GNN training is prohibitive due to user-side privacy concerns, regulation restrictions, and commercial competition. Federated Learning is the de-facto standard for collaborative training of machine learning models over many distributed edge devices without the need for centralization. Nevertheless, training graph neural networks in a federated setting is vaguely defined and brings statistical and systems challenges. This work proposes SpreadGNN, a novel multi-task federated training framework capable of operating in the presence of partial labels and absence of a central server for the first time in the literature. SpreadGNN extends federated multi-task learning to realistic serverless settings for GNNs, and utilizes a novel optimization algorithm with a convergence guarantee, Decentralized Periodic Averaging SGD (DPA-SGD), to solve decentralized multi-task learning problems. We empirically demonstrate the efficacy of our framework on a variety of non-I.I.D. distributed graph-level molecular property prediction datasets with partial labels. Our results show that SpreadGNN outperforms GNN models trained over a central server-dependent federated learning system, even in constrained topologies. The source code is publicly available at https://github.com/FedML-AI/SpreadGNN

研究の動機と目的

• 中央データ共有を妨げるプライバシー/規制の制約に対処する。
• 部分ラベルを扱うGNNのサーバーレス連合マルチタスク学習フレームワークを開発する。
• 分散型ネットワークに適した収束保証付き最適化手法を提供する。
• サーバーレスSpreadGNNが非IID・部分ラベル設定で中心サーバーのFedAvgを上回ることを実証する。

提案手法

• 中心化された定式化（FedGMTL）を介して部分ラベルを伴うグラフニューラルネットワークへの連邦マルチタスク学習を拡張し、これを取り除いてSpreadGNNを得る。
• τ回の反復ごとに局所SGDを実行し近傍と同期するDecentralized Periodic Averaging SGD（DPA-SGD）を導入する。
• 各クライアントkのタスク共分散行列Ωkと、タスク情報をクライアント間で共有するグローバルなタスク関係正則化項Tr(Φ_task Ω−1 Φ_task^T)を使用する。
• ネットワーク重みWkとΩkの交互最適化を提案し、近傍間でΩkを通信ベースで整合させる（付録のアルゴリズム1）。
• DPA-SGDの収束解析を提供し、非凸設定で平均化モデルが収束する条件を示す（定理1）。
• MoleculeNetデータセット（SIDER、Tox21、MUV、QM8）を、非IID・部分ラベル分割と2つのGNNバックボーン（GraphSAGE、GAT）で評価する。

実験結果

リサーチクエスチョン

• RQ1 サーバーレスで分散型のマルチタスク連合学習フレームワークは、部分ラベルを持つGNNを効果的に学習できるか。
• RQ2 DPA-SGDとタスク関係正則化は、非IID分子グラフ設定において中心サーバーのFedAvgより性能を向上させるか。
• RQ3 SpreadGNNはGNNアーキテクチャに依存せず、クライアント接続性/トポロジーの変化に頑健か。
• RQ4 学習性能と収束に対するトポロジー、近傍サイズ、通信周期の影響はどうか。
• RQ5 クライアントはローカルラベルにないタスクを、クロスクライアントのタスク関係を通じて学習して予測できるか。

主な発見

• SpreadGNNは中央サーバーがなくても、すべてのクライアントが通信できる場合、分子特性予測タスクでFedAvgを上回る。
• SpreadGNNはFedGMTL（サーバー支援あり）と競合する、またはそれを上回る精度を達成し、現実的なサーバーレストポロジー下でも中心サーバー性能に近づく。
• フレームワークはGNNモデルの選択（GraphSAGEまたはGAT）に対してアガノスティックであり、クライアント接続性が制約される状況でも有効である。
• タスク関係正則化（Ω）と分散平均化は、部分的にラベル付けされたタスク間で学習を可能にし、非IID設定での性能を向上させる。
• 収束解析（定理1）は、非凸・分散型FL設定においてDPA-SGDが収束する条件を提供する。