[論文レビュー] FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation

Chuhan Wu, Fangzhao Wu+3 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用数 131

ひとこと要約

FedGNNは、局所的なDP、疑似相互作用アイテム、そして高次のユーザー-アイテム相互作用を活用するプライバシー保護付きフェデレーテッド構成でGNNベースの推薦を学習します。

ABSTRACT

Graph neural network (GNN) is widely used for recommendation to model high-order interactions between users and items. Existing GNN-based recommendation methods rely on centralized storage of user-item graphs and centralized model learning. However, user data is privacy-sensitive, and the centralized storage of user-item graphs may arouse privacy concerns and risk. In this paper, we propose a federated framework for privacy-preserving GNN-based recommendation, which can collectively train GNN models from decentralized user data and meanwhile exploit high-order user-item interaction information with privacy well protected. In our method, we locally train GNN model in each user client based on the user-item graph inferred from the local user-item interaction data. Each client uploads the local gradients of GNN to a server for aggregation, which are further sent to user clients for updating local GNN models. Since local gradients may contain private information, we apply local differential privacy techniques to the local gradients to protect user privacy. In addition, in order to protect the items that users have interactions with, we propose to incorporate randomly sampled items as pseudo interacted items for anonymity. To incorporate high-order user-item interactions, we propose a user-item graph expansion method that can find neighboring users with co-interacted items and exchange their embeddings for expanding the local user-item graphs in a privacy-preserving way. Extensive experiments on six benchmark datasets validate that our approach can achieve competitive results with existing centralized GNN-based recommendation methods and meanwhile effectively protect user privacy.

研究の動機と目的

• GNNベースの推薦における中心化されたユーザー-アイテムグラフのプライバシー懸念を動機づける。
• FedGNNを提案し、分散されたユーザーデータからフェデレーテッドでプライバシー保護された学習を可能にする。
• 私的データを漏らすことなく高次のユーザー-アイテム相互作用のモデリングを可能にする。
• 中央集権的なGNN手法と比較して、ユーザープライバシーを保護しつつ競争力を示す。

提案手法

• 各ユーザー端末は自己推定のユーザー-アイテム部分グラフから埋め込みとローカルGNNを学習する。
• 勾配（モデルと埋め込み）はサーバーへアップロードされ、FedAvgを介してグローバル更新のために集約される。
• 二つのプライバシー機構：疑似相互作用アイテムのサンプリングは非相互作用アイテムから勾配を追加して実際の相互作用をマスクする；ローカルディファレンシャルプライバシーは勾配にラプラスノイズを加える。
• プライバシー保護付きグラフ拡張は、同型暗号化を用いる第三者サーバーを使って匿名の隣接ユーザーを見つけ、アイテムIDを公開せずにローカルグラフを充実させる。
• FedGNN内では任意のGNNアーキテクチャ（GCN、GGNN、GAT）が使用可能；レーティング予測子は内積を用いて評価を予測する。

実験結果

リサーチクエスチョン

• RQ1 FedGNNは生データを共有することなく、完全に分散された設定で効果的なGNNベースの推薦を学習できるか？
• RQ2 高次のユーザー-アイテム相互作用をプライベートに活用して推薦を改善できるか？
• RQ3 フェデレーテッドGNNトレーニングにおけるローカルDPと疑似相互作用アイテムサンプリングのプライバシーと有用性のトレードオフはどうなるか？
• RQ4 FedGNNは標準データセットで中央集権的なGNNベース手法や他のプライバシー保護ベースラインとどう比較されるか？

主な発見

Methods	Flixster RMSE	Douban RMSE	Yahoo RMSE	ML-100K RMSE	ML-1M RMSE	ML-10M RMSE
PMF	1.375	0.886	26.6	0.965	0.883	0.856
SVD++	1.155	0.869	24.4	0.952	0.860	0.834
GRALS	1.313	0.833	38.0	0.934	0.849	0.808
sRGCNN	1.179	0.801	22.4	0.922	0.837	0.789
GC-MC	0.941	0.734	20.5	0.905	0.832	0.777
PinSage	0.945	0.732	21.0	0.914	0.840	0.790
NGCF	0.954	0.742	20.9	0.916	0.833	0.779
FCF	1.064	0.823	22.9	0.957	0.874	0.847
FedMF	1.059	0.817	22.2	0.948	0.872	0.841
FedGNN	0.989	0.790	21.1	0.920	0.848	0.803

• FedGNNは6つのベンチマークデータセットにおいて中央集権的なGNNベース手法と競合するRMSEを達成する。
• プライバシー保護付きの拡張を介して高次のユーザー-アイテム相互作用を取り入れることで推奨性能が向上する。
• FedGNNは高次情報を活用しないプライバシー保護ベースライン（例：FCF、FedMF）よりも優れている。
• ローカライズドDPと疑似アイテムサンプリングはAccuracyとのトレードオフをコントロール可能な形でプライバシー保護を提供し、設定次第で1ディファレンシャルプライバシーを実現する。
• トレーニング中に隣接埋め込みを固定すると、完全に訓練可能な隣接埋め込みよりも若干の精度向上を得られる場合がある。