[論文レビュー] GraphFL: A Federated Learning Framework for Semi-Supervised Node Classification on Graphs

Binghui Wang, Ang Li+2 more|arXiv (Cornell University)|Dec 8, 2020

Privacy-Preserving Technologies in Data参考文献 44被引用数 34

ひとこと要約

GraphFLは、非IIDクライアントデータ、新しいラベルドメイン、ラベルなしデータをメタ学習風のアプローチと自己学習で対処する、グラフの初の連合半教師ありノード分類フレームワークです。標準FLベースラインより改善。

ABSTRACT

Graph-based semi-supervised node classification (GraphSSC) has wide applications, ranging from networking and security to data mining and machine learning, etc. However, existing centralized GraphSSC methods are impractical to solve many real-world graph-based problems, as collecting the entire graph and labeling a reasonable number of labels is time-consuming and costly, and data privacy may be also violated. Federated learning (FL) is an emerging learning paradigm that enables collaborative learning among multiple clients, which can mitigate the issue of label scarcity and protect data privacy as well. Therefore, performing GraphSSC under the FL setting is a promising solution to solve real-world graph-based problems. However, existing FL methods 1) perform poorly when data across clients are non-IID, 2) cannot handle data with new label domains, and 3) cannot leverage unlabeled data, while all these issues naturally happen in real-world graph-based problems. To address the above issues, we propose the first FL framework, namely GraphFL, for semi-supervised node classification on graphs. Our framework is motivated by meta-learning methods. Specifically, we propose two GraphFL methods to respectively address the non-IID issue in graph data and handle the tasks with new label domains. Furthermore, we design a self-training method to leverage unlabeled graph data. We adopt representative graph neural networks as GraphSSC methods and evaluate GraphFL on multiple graph datasets. Experimental results demonstrate that GraphFL significantly outperforms the compared FL baseline and GraphFL with self-training can obtain better performance.

研究の動機と目的

• プライバシーを保護し、ラベリングコストを削減するためのグラフベースの半教師付きノード分類（GraphSSC）に対する連合学習を動機づける。
• グラフ構造データにおけるクライアント間の非IIDデータに対処する。
• 新しいラベルドメインを持つテストノードへの一般化を可能にする。
• 自己学習を通じて未ラベルノードを活用して性能を向上させる。

提案手法

• モデルに依存しないメタ学習（MAML）を連合学習に組み込み、非IIDのグラフデータを横断して一般化するグローバルモデルを作成する。
• Stage I（MAML風）：サーバー上でタスク固有の更新をシミュレートし、クライアントのクエリセットで評価することによりグローバル初期化を学習する。
• Stage II（FL微調整）：クライアントがグローバル初期化を微調整し、サーバーがFedAvgで集約して堅牢なグローバルモデルを生成する。
• 新しいラベルドメインに対して、FL内の目的関数を再定式化して、少数のラベル付き例で新しいラベルドメインへ迅速適応する共有初期化を学習する。
• 自己学習：各クライアントはラベル付きデータで訓練し、ラベルなしノードを予測し、信頼度の高い疑似ラベルを選択して、さらなる連合学習の訓練データを拡張する。

実験結果

リサーチクエスチョン

• RQ1 GraphFLは連合GraphSSCにおいてグラフデータの非IID問題を緩和できるか？
• RQ2 新しいラベルドメインを持つテストノードへスクラッチから再学習せずに一般化できるか？
• RQ3 自己学習を活用したラベルなしノードは連合グラフ半教師付き学習の性能を改善するか？
• RQ4 非IIDおよびラベルドメインシフトのシナリオで、GraphFLは標準的なFLベースラインと比較してどの程度効果的か？

主な発見

• クライアントのラベルが極めて非IIDである場合、GraphFLは標準FLベースラインを一貫して上回る。
• 新しいラベルドメインを持つテストノードへの一般化は、伝統的なFL手法より優れている。
• 自己学習を用いたGraphFLは、自己学習なしのバリアントよりさらに性能を向上させる。
• 複数のグラフデータセット上の実験結果は、提案フレームワークがGCNおよびSGCバックボーンでノード分類精度を改善することを示している。