[논문 리뷰] FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation

Chuhan Wu, Fangzhao Wu외 3명|arXiv (Cornell University)|2021. 02. 09.

Privacy-Preserving Technologies in Data참고 문헌 38인용 수 131

한 줄 요약

FedGNN은 로컬 DP, 의사 상호작용 아이템, 프라이버시 보존 그래프 확장을 사용하여 고차원 사용자-아이템 상호작용을 활용하는 프라이버시 보호 연합 학습 환경에서 GNN 기반 추천을 학습합니다.

ABSTRACT

Graph neural network (GNN) is widely used for recommendation to model high-order interactions between users and items. Existing GNN-based recommendation methods rely on centralized storage of user-item graphs and centralized model learning. However, user data is privacy-sensitive, and the centralized storage of user-item graphs may arouse privacy concerns and risk. In this paper, we propose a federated framework for privacy-preserving GNN-based recommendation, which can collectively train GNN models from decentralized user data and meanwhile exploit high-order user-item interaction information with privacy well protected. In our method, we locally train GNN model in each user client based on the user-item graph inferred from the local user-item interaction data. Each client uploads the local gradients of GNN to a server for aggregation, which are further sent to user clients for updating local GNN models. Since local gradients may contain private information, we apply local differential privacy techniques to the local gradients to protect user privacy. In addition, in order to protect the items that users have interactions with, we propose to incorporate randomly sampled items as pseudo interacted items for anonymity. To incorporate high-order user-item interactions, we propose a user-item graph expansion method that can find neighboring users with co-interacted items and exchange their embeddings for expanding the local user-item graphs in a privacy-preserving way. Extensive experiments on six benchmark datasets validate that our approach can achieve competitive results with existing centralized GNN-based recommendation methods and meanwhile effectively protect user privacy.

연구 동기 및 목표

• GNN 기반 추천에서 중앙 집중식 사용자-아이템 그래프의 프라이버시 문제를 제기합니다.
• 분산된 사용자 데이터에서 페더레이션 방식의 프라이버시 보호 학습을 가능하게 하는 FedGNN를 제안합니다.
• 개인 데이터를 노출하지 않으면서 고차원 사용자-아이템 상호작용 모델링을 가능하게 합니다.
• 사용자 프라이버시를 보존하면서 중앙 집중식 GNN 방식과의 경쟁력을 시연합니다.

제안 방법

• 각 사용자 기기는 자신의 추정된 사용자-아이템 부분 그래프에서 임베딩과 로컬 GNN을 학습합니다.
• 기울기(모델 및 임베딩)를 서버로 업로드하고 FedAvg를 통해 전역 업데이트를 위한 집계를 수행합니다.
• 두 가지 프라이버시 메커니즘: 의사 상호작용 아이템 샘플링은 실제 상호작용을 가리기 위해 비상호작용 아이템의 기울기를 추가합니다; 로컬 차등 프라이버시는 기울기에 라플라스 노이즈를 추가합니다.
• 프라이버시 보존 그래프 확장은 동형 암호화를 사용하는 제3자 서버를 이용해 익명의 이웃 사용자를 찾아 아이템 ID를 노출하지 않고 로컬 그래프를 확장합니다.
• FedGNN 내에서 어떤 GNN 아키텍처(GCN, GGNN, GAT)도 사용할 수 있으며, 평점 예측기는 점곱으로 평점을 예측합니다.

실험 결과

연구 질문

• RQ1 FedGNN가 원시 사용자-아이템 데이터를 공유하지 않고 완전 분 dispersed 환경에서 효과적인 GNN 기반 추천을 학습할 수 있나요?
• RQ2 고차원 사용자-아이템 상호작용을 프라이버시를 유지하면서 어떻게 효과적으로 활용할 수 있나요?
• RQ3 페더레이션 GNN 학습에서 로컬 DP와 의사 상호작용 아이템 샘플링을 사용할 때의 프라이버시-효용 트레이드오프는 무엇인가요?
• RQ4 표준 데이터셋에서 FedGNN가 중앙 집중식 GNN 기반 방법 및 다른 프라이버시 보존 기반과 비교했을 때의 성능은 어떠한가요?

주요 결과

방법	Flixster RMSE	Douban RMSE	Yahoo RMSE	ML-100K RMSE	ML-1M RMSE	ML-10M RMSE
PMF	1.375	0.886	26.6	0.965	0.883	0.856
SVD++	1.155	0.869	24.4	0.952	0.860	0.834
GRALS	1.313	0.833	38.0	0.934	0.849	0.808
sRGCNN	1.179	0.801	22.4	0.922	0.837	0.789
GC-MC	0.941	0.734	20.5	0.905	0.832	0.777
PinSage	0.945	0.732	21.0	0.914	0.840	0.790
NGCF	0.954	0.742	20.9	0.916	0.833	0.779
FCF	1.064	0.823	22.9	0.957	0.874	0.847
FedMF	1.059	0.817	22.2	0.948	0.872	0.841
FedGNN	0.989	0.790	21.1	0.920	0.848	0.803

• FedGNN은 여섯 개의 벤치마크 데이터셋에서 중앙 집중식 GNN 기반 방법과 경쟁력 있는 RMSE를 달성합니다.
• 프라이버시 보존 확장을 통해 고차원 사용자-아이템 상호작용을 도입하면 추천 성능이 향상됩니다.
• FedGNN이 우수합니다. 프라이버시 보존 기준선(FCF, FedMF 등)보다.
• 로컬 DP와 의사 아이템 샘플링은 정확도와 프라이버시 간의 제어 가능한 트레이드오프를 제공하며, 선택된 설정에서 1-차등 프라이버시를 달성합니다.
• 학습 중에 고정된 이웃 임베딩은 완전히 학습 가능한 이웃 임베딩보다 약간의 정확도 향상을 가져올 수 있습니다.