[論文レビュー] A Vertical Federated Learning Framework for Graph Convolutional Network

Xiang Ni, Xiaolong Xu+3 more|arXiv (Cornell University)|Jun 22, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用数 26

ひとこと要約

FedVGCN は、加法同型暗号を用いたグラフ畳み込みネットワークのプライバシー保護型垂直連合学習を実現し、GraphSAGE のベンチマークで集中型の性能に近い成果を達成します。

ABSTRACT

Recently, Graph Neural Network (GNN) has achieved remarkable success in various real-world problems on graph data. However in most industries, data exists in the form of isolated islands and the data privacy and security is also an important issue. In this paper, we propose FedVGCN, a federated GCN learning paradigm for privacy-preserving node classification task under data vertically partitioned setting, which can be generalized to existing GCN models. Specifically, we split the computation graph data into two parts. For each iteration of the training process, the two parties transfer intermediate results to each other under homomorphic encryption. We conduct experiments on benchmark data and the results demonstrate the effectiveness of FedVGCN in the case of GraphSage.

研究の動機と目的

• グラフデータがエンティティ間で垂直に分割される場合のプライバシー保護学習を動機づける。
• Raw features or edges を共有せずに GCN ベースのモデルを訓練する FedVGCN フレームワークを提案。
• 加法同型暗号が精度を保持しつつデータのプライバシーを保護することを示す。
• FedVGCN が分離データのベースラインを上回り、中央集権的なプレーンテキストの性能に近づくことを示す。

提案手法

• 垂直 FL 設定で特徴を保持する2つのパーティにグラフデータを分割する。
• 前方伝播と逆伝播の過程で暗号化された中間結果を交換するために加法同型暗号（Paillier）を使用。
• 加法同型加算と乗算を保持するために二次直交多項式を使い ReLU を近似。
• 損失と勾配計算のために二次の Taylor 近似を適用して暗号化操作を可能にする。
• 訓練前の初期 ID 整合のために Private Set Intersection (PSI) を活用。
• グラフSAGE の拡張を unsupervised loss inspired by graph-based negative sampling で評価する。

実験結果

リサーチクエスチョン

• RQ1 データが垂直分割されている場合、FedVGCN は孤立した特徴/エッデータで訓練されたグラフと比較してノード分類精度を改善できるか？
• RQ2 組み合わせたプレーンテキストデータで訓練された中央集権モデルにどれだけ近づけるか？
• RQ3 垂直 GNN 訓練における Paillier HE と多項式活性化のプライバシーと精度への影響はどの程度か？

主な発見

データセット	GraphSage_A	GraphSage_B	FedVGraphSage	GraphSage_A+B
Cora	0.5222	0.4867	0.6770	0.7080
Pubmed	0.6936	0.6801	0.7830	0.7890
Citeseer	0.4630	0.5510	0.6820	0.6983

• FedVGraphSage は Cora、PubMed、Citeseer で孤立した特徴/エッジデータで訓練された GraphSage モデルを一貫して上回る。
• FedVGraphSage は組み合わせたプレーンテキストデータで訓練された GraphSage に近い精度を達成する（例: Cora は 0.6770 対 0.7080; PubMed は 0.7830 対 0.7890; Citeseer は 0.6820 対 0.6983）。
• 加法同型暗号は中間結果の機密性を保ちながらデータを露出せずに通信を可能にする。
• 二次多項式活性化は暗号文に優しい計算を可能にし、暗号化の下での加算と乗算を保持する。
• このフレームワークは非協調的サーバとクライアントという前提の下でのプライバシー保証を支援し、標準的なスカラー積プロトコルに基づくセキュリティを有する。