[논문 리뷰] Vertical Federated Graph Neural Network for Recommender System

Peihua Mai, Yan Pang|arXiv (Cornell University)|2023. 03. 10.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 개인정보 보호를 위한 수평적 연합 그래프 신경망인 VerFedGNN을 제안한다. 이는 개인정보 및 상업적 제약으로 인해 사용자-아이템 데이터가 분리된 조직 간에 협업 학습을 가능하게 한다. 이중 이웃 임베딩 집계에 무작위 투영을, 기울기 전송에 삼항 양자화를 사용함으로써 VerFedGNN은 경쟁적인 추천 정확도를 달성하면서도 탈식별 공격에 대한 개인정보 보호 수준을 크게 향상시킨다.

ABSTRACT

Conventional recommender systems are required to train the recommendation model using a centralized database. However, due to data privacy concerns, this is often impractical when multi-parties are involved in recommender system training. Federated learning appears as an excellent solution to the data isolation and privacy problem. Recently, Graph neural network (GNN) is becoming a promising approach for federated recommender systems. However, a key challenge is to conduct embedding propagation while preserving the privacy of the graph structure. Few studies have been conducted on the federated GNN-based recommender system. Our study proposes the first vertical federated GNN-based recommender system, called VerFedGNN. We design a framework to transmit: (i) the summation of neighbor embeddings using random projection, and (ii) gradients of public parameter perturbed by ternary quantization mechanism. Empirical studies show that VerFedGNN has competitive prediction accuracy with existing privacy preserving GNN frameworks while enhanced privacy protection for users' interaction information.

연구 동기 및 목표

• 개인정보 및 상업적 제약으로 인해 사용자-아이템 상호작용 데이터가 조직 간에 분리되어 있을 경우, 협업 기반 GNN 기반 추천 시스템을 학습하는 데 도전 과제를 해결한다.
• 원시 사용자 상호작용 데이터나 그래프 구조를 공유하지 않고도 안전한 모델 학습을 가능하게 하는 수평 연합 학습 프레임워크를 설계한다.
• 서브그래프 간 임베딩 전파 동안 사용자 상호작용 개인정보를 보호하면서도 모델 성능을 유지한다.
• 기존 연합 GNN 프레임워크의 취약성을 입증하고 제안된 개인정보 보호 메커니즘의 효과성을 검증하기 위해 탈식별 공격을 개발하고 평가한다.

제안 방법

• 클라이언트 간에 이웃 임베딩 합산을 압축하고 전송하기 위해 무작위 투영을 활용하여 통신 비용을 줄이고 개인정보 보호를 강화한다.
• 공개 모델 파라미터의 기울기를 왜곡하고 전송하기 위해 삼항 양자화를 사용하여 정보 泄露 를 최소화하면서도 모델 업데이트의 정확성을 유지한다.
• 각 클라이언트가 다른 아이템 세트를 보유하고 있지만 동일한 사용자 기반을 공유하는 수평 연합 학습 프레임워크를 설계하여 데이터 공유 없이 협업 학습을 가능하게 한다.
• 서버는 압축된 이웃 임베딩을 집계하고, 기밀 보장 통신 프rotocol를 사용하여 클라이언트 간 모델 업데이트를 조율한다.
• 이론적 개인정보 보호 분석을 적용하여 제안된 방법이 차별적 개인정보 보호 및 k-익명성 원칙에 따라 사용자 상호작용 데이터를 보호함을 입증한다.
• 기울기 기반 탈식별 공격을 구현하여, 기울기에서 유도된 교차 그래프 상호작용을 추론함으로써 프레임워크의 강건성을 평가하고 삼항 양자화의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 원시 사용자-아이템 상호작용 데이터를 공유하지 않고도 협업 학습이 가능한 수평 연합 GNN 프레임워크를 설계할 수 있는가?
• RQ2 무작위 투영이 분리된 서브그래프 간 정확한 임베딩 전파를 가능하게 하면서도 개인정보 보호를 얼마나 효과적으로 유지하는가?
• RQ3 삼항 양자화된 기울기의 경우, 비양자화 또는 노이즈 추가 기울기 대비 탈식별 공격 위험을 어느 정도 감소시키는가?
• RQ4 개인정보 제약 하에서 VerFedGNN은 중심화된 GNN과 비교해 추천 정확도에서 어떤 성능을 보이는가?
• RQ5 제안된 프레임워크는 대규모 데이터셋에서 통신 비용과 확장성에 어떤 영향을 미치는가?

주요 결과

• VerFedGNN은 경쟁적인 추천 정확도를 달성하였으며, Yelp 데이터셋에서 RMSE가 1.312를 기록했다—중앙화된 GNN(1.302)과의 격차는 0.01에 불과하고, 행렬 분해 기법보다는 유의미한 향상(1.41)을 보였다.
• 무작위 투영을 사용함으로써 탈식별 공격의 정확도가 BookCrossing에서 0.0037 F1로 감소하였으며(투영 없이 0.0305), 강력한 개인정보 보호 효과를 입증했다.
• 삼항 양자화로 기울기 기반 탈식별 공격 F1가 20% 공격 비율에서 0.0057로 감소하였으며, FedPerGNN(0.0168) 및 FedSage+(0.0220)보다 유의미하게 낮았다.
• 통신 비용은 파티당 라운드당 660.9MB(총 6609MB)로 관리 가능했고, 라운드당 5% 사용자 샘플링을 통해 전송 시간을 4.5초로 줄일 수 있었다.
• 프레임워크는 확장성이 뛰어나 690만 건이 넘는 평가, 190만 명이 넘는 사용자, 15만 개의 아이템을 포함한 대규모 Yelp 데이터셋에 성공적으로 구현되었다.
• 실증 결과는 VerFedGNN이 기존 연합 GNN 프레임워크보다 더 강력한 개인정보 보호 보장을 제공하면서도 높은 성능을 유지함을 확인했으며, 특히 기울기 유도 공격에 대한 내성에서 두각을 나타냈다.