[論文レビュー] Personalized Subgraph Federated Learning

Jinheon Baek, Wonyong Jeong+3 more|arXiv (Cornell University)|Jun 21, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、関数的埋め込みを用いてモデルの類似度を測定し、パーソナライズドスパースマスクを適用して部分グラフ関連パラメータを効果的に更新することで、分散型でプライバシー保護された部分グラフ上でGNNの協調学習を向上させる、新しいフレームワークであるパーソナライズド部分グラフフェデレーテッドラーニング（FED-PUB）を提案する。FED-PUBは、重複する部分グラフと非重複する部分グラフの両方を含む6つのデータセットにおいて、既存のベースラインを顕著に上回り、欠落したエッジやモデルの非同一性に起因する性能低下を効果的に緩和する。

ABSTRACT

Subgraphs of a larger global graph may be distributed across multiple devices, and only locally accessible due to privacy restrictions, although there may be links between subgraphs. Recently proposed subgraph Federated Learning (FL) methods deal with those missing links across local subgraphs while distributively training Graph Neural Networks (GNNs) on them. However, they have overlooked the inevitable heterogeneity between subgraphs comprising different communities of a global graph, consequently collapsing the incompatible knowledge from local GNN models. To this end, we introduce a new subgraph FL problem, personalized subgraph FL, which focuses on the joint improvement of the interrelated local GNNs rather than learning a single global model, and propose a novel framework, FEDerated Personalized sUBgraph learning (FED-PUB), to tackle it. Since the server cannot access the subgraph in each client, FED-PUB utilizes functional embeddings of the local GNNs using random graphs as inputs to compute similarities between them, and use the similarities to perform weighted averaging for server-side aggregation. Further, it learns a personalized sparse mask at each client to select and update only the subgraph-relevant subset of the aggregated parameters. We validate our FED-PUB for its subgraph FL performance on six datasets, considering both non-overlapping and overlapping subgraphs, on which it significantly outperforms relevant baselines. Our code is available at https://github.com/JinheonBaek/FED-PUB.

研究の動機と目的

• 部分グラフ同士に接続エッジが欠落している場合や、異なる部分グラフ間でモデルの非同一性が生じる状況において、部分グラフフェデレーテッドラーニングの性能低下を是正すること。
• 単一のグローバルモデルを学習する代わりに、同じコミュニティに属する関連するローカルGNNモデルを統合的に最適化するパーソナライズドFLフレームワークの開発。
• プライバシー制約のため、生の部分グラフデータを暴露せずに、クライアント間で知識を共有すること。
• 部分グラフ間のコミュニティ構造を同定し、各クライアントのローカル部分グラフに特化したモデルパラメータを局所化すること。

提案手法

• クライアントの部分グラフにアクセスせずに、ランダムグラフを用いた関数的埋め込みによって、ローカルGNNのモデル類似度を推定する。
• サーバー側の集約処理では、これらの関数的埋め込み類似度に基づいて、クライアントのモデルパラメータを重み付き平均で統合する。
• 各クライアントは、ローカル部分グラフに関連するパラメータのみを選択的に更新するためのパーソナライズドスパースマスクを学習する。
• サーバーはクライアントの実際の部分グラフデータやノード・エッジ情報にアクセスしないという厳密なプライバシー制約のもとでフレームワークが動作する。
• 本手法は、複数のクライアントにまたがる重複部分グラフと非重複部分グラフの両方の状況を扱えるように設計されている。
• ノードやエッジ情報の直接共有を回避することで、プライバシーリスクと通信コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 ローカル部分グラフが非重複であり、相互接続エッジを欠いている場合、どのように部分グラフフェデレーテッドラーニングの性能を向上させられるか？
• RQ2 異なるコミュニティに属する部分グラフ間でモデルの非同一性が生じる場合、既存の部分グラフFL手法における性能低下はどの程度顕著か？
• RQ3 生の部分グラフデータにアクセスせずに、ランダムグラフ上でのGNNの関数的埋め込みが、ローカルモデル間の類似度を効果的に捉えられるか？
• RQ4 パーソナライズドスパースマスクによって、部分グラフ関連のコンponentsに限定されたパラメータ更新がどのように性能向上に寄与するか？
• RQ5 提案されたフレームワークは、重複部分グラフと非重複部分グラフの両方の設定において、既存の部分グラフFLおよびパーソナライズドFLベースラインを上回る性能を発揮できるか？

主な発見

• FED-PUBは、すべてのデータセットにおいて、完全なグローバルグラフで訓練されたオラクルモデルに最も近い性能を達成し、FedGNN、FedSage+、FedPerを顕著に上回る。
• 非重複部分グラフを有するCoraデータセットでは、FED-PUBはテスト精度84.3%を達成し、次に優れたベースラインより3.1ポイント高い。
• 重複部分グラフの状況では、FED-PUBは一貫した性能向上を示し、PubMedデータセットではFedGNNより2.8%の向上を達成した。
• 関数的埋め込みは、埋め込み類似度のクラスタリング解析を通じて、部分グラフ間のコミュニティ構造を的確に同定した。
• パーソナライズドスパースマスク機構は、モデルパラメータの局所化を効果的に行い、一般化性能を向上させるとともに、関係のないパラメータからの干渉を低減した。
• アブレーションスタディの結果、関数的埋め込みとスパースマスクの両方が不可欠であることが確認され、いずれかを除去すると性能が5%以上低下した。