[論文レビュー] Subgraph Federated Learning with Missing Neighbor Generation

Ke Zhang, Carl Yang+3 more|arXiv (Cornell University)|Jun 25, 2021

Advanced Graph Neural Networks参考文献 42被引用数 75

ひとこと要約

この論文は、FedSageとFedSage+をサブグラフフェデレーテッドラーニングのために提案し、分散されたサブグラフ間でグローバルなグラフ知識を転送し、生成された欠損近傍モジュールによって跨サブグラフの欠損近傍を解消する。

ABSTRACT

Graphs have been widely used in data mining and machine learning due to their unique representation of real-world objects and their interactions. As graphs are getting bigger and bigger nowadays, it is common to see their subgraphs separately collected and stored in multiple local systems. Therefore, it is natural to consider the subgraph federated learning setting, where each local system holds a small subgraph that may be biased from the distribution of the whole graph. Hence, the subgraph federated learning aims to collaboratively train a powerful and generalizable graph mining model without directly sharing their graph data. In this work, towards the novel yet realistic setting of subgraph federated learning, we propose two major techniques: (1) FedSage, which trains a GraphSage model based on FedAvg to integrate node features, link structures, and task labels on multiple local subgraphs; (2) FedSage+, which trains a missing neighbor generator along FedSage to deal with missing links across local subgraphs. Empirical results on four real-world graph datasets with synthesized subgraph federated learning settings demonstrate the effectiveness and efficiency of our proposed techniques. At the same time, consistent theoretical implications are made towards their generalization ability on the global graphs.

研究の動機と目的

• 生データを共有せず、複数の偏ったサブグラフからグローバルに適用可能なグラフ分類器を学習する動機付け。
• 局所サブグラフ間で FedAvg を用いて GraphSage モデルを集約する FedSage を提案。
• 欠損近傍を生成することで FedSage+ による跨サブグラフの欠損リンク問題に対処。
• さまざまなデータ所有者設定下で実世界データセット上の有効性と効率を示す。
• フェデレーテッドサブグラフ学習の GNTK フレームワークにおける一般化へ向けた理論的洞察を提供。

提案手法

• M 個の局所サブグラフに跨って共有 GraphSage分類器を学習するために FedAvg を採用する（FedSage）。
• ノード分類のための自我グラフベースの損失を定義し、K 層の GraphSage で表現を伝播させる。
• 跨サブグラフの欠損近傍を生成する2モジュールの生成器 NeighGen（エンコーダ H^e と生成器 H^g）を導入。
• 障害を受けた局所サブグラフ上でグラフ修復を通じて NeighGen を訓練し、GraphSage（LocSage+）と共同最適化。
• 生データを共有せず、跨サブグラフの近傍再構成に関連する勾配を交換してNeighGenを連邦化し、生成近傍の多様性を高める。
• LocSage+ の結合損失 L = L^n + λ^c L^c を提供し、他の所有者からの勾配信号で NeighGen を局所更新する跨サブグラフ制限FLスキームを提案。

実験結果

リサーチクエスチョン

• RQ1 データを共有せずに、分散した偏ったサブグラフからグローバルに適用可能なグラフ分類器をどのように学習できるか？
• RQ2 跨サブグラフの欠損リンク下で GraphSage を用いた FedAvg は頑健なグローバルモデルを生み出せるか？
• RQ3 欠損近傍を生成する NeighGen はサブグラフフェデレーテッドラーニングの性能を向上させるか？
• RQ4 プライベートデータを公開せずに、フェデレーテッド設定で Cross-subgraph 情報を捕捉するように NeighGen をどのように訓練できるか？
• RQ5 GNTK フレームワーク下のサブグラフ FL の一般化への影響は何か？

主な発見

• FedSage と FedSage+ は、4つの実世界データセットで局所的に訓練された分類器を一貫して上回る。
• FedSage+ は跨サブグラフの欠損近傍問題を緩和することで FedSage より性能をさらに向上させる。
• FedSage+ は跨サブグラフ情報損失に対して頑健性を示し、特に Citeseer のような疎なグラフで顕著。
• 協調なしの局所訓練（LocSage/LocSage+）はフェデレーテッドな手法と比べて劣り、この設定における FL の価値を示す。
• NeighGen と GraphSage の結合訓練は収束を早め、妥当な訓練時間オーバーヘッドで競争力のある精度を達成。
• ハイパーパラメータの検討では α が約1、適度な欠損近傍率 h が性能を改善する一方、極端な値は学習を劣化させる。