[논문 리뷰] Federated Heterogeneous Graph Neural Network for Privacy-preserving Recommendation

Bo Yan, Yang Cao외 4명|arXiv (Cornell University)|2023. 10. 18.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 개인정보 보호 추천을 위한 분산 이질적 그래프 신경망인 FedHGNN을 제안한다. 이는 사용자-아이템 상호작용을 비공개 및 공유되는 이질적 정보 네트워크(HIN)로 분할하며, 차별적 보장이 있는 의미 보존형 사용자 상호작용 공개 방법을 도입하여, 개인정보를 보호하면서도 고차원 패턴을 유지하면서 공동 학습을 가능하게 한다. ε=1의 개인정보 예산 하에서 기준 모델 대비 최대 34% 높은 HR@10과 42% 높은 NDCG@10 성능을 달성한다.

ABSTRACT

The heterogeneous information network (HIN), which contains rich semantics depicted by meta-paths, has emerged as a potent tool for mitigating data sparsity in recommender systems. Existing HIN-based recommender systems operate under the assumption of centralized storage and model training. However, real-world data is often distributed due to privacy concerns, leading to the semantic broken issue within HINs and consequent failures in centralized HIN-based recommendations. In this paper, we suggest the HIN is partitioned into private HINs stored on the client side and shared HINs on the server. Following this setting, we propose a federated heterogeneous graph neural network (FedHGNN) based framework, which facilitates collaborative training of a recommendation model using distributed HINs while protecting user privacy. Specifically, we first formalize the privacy definition for HIN-based federated recommendation (FedRec) in the light of differential privacy, with the goal of protecting user-item interactions within private HIN as well as users' high-order patterns from shared HINs. To recover the broken meta-path based semantics and ensure proposed privacy measures, we elaborately design a semantic-preserving user interactions publishing method, which locally perturbs user's high-order patterns and related user-item interactions for publishing. Subsequently, we introduce an HGNN model for recommendation, which conducts node- and semantic-level aggregations to capture recovered semantics. Extensive experiments on four datasets demonstrate that our model outperforms existing methods by a substantial margin (up to 34% in HR@10 and 42% in NDCG@10) under a reasonable privacy budget.

연구 동기 및 목표

• 중앙집중식 HIN 기반 추천 시스템에서의 데이터 희소성과 개인정보 泄露 문제를 해결하기 위해.
• 차별적 보장을 사용하여 HIN 기반 분산 추천에 대한 개인정보 정의를 체계화하기 위해.
• 사용자-아이템 상호작용과 고차원 사용자 패턴을 모두 보호하는 의미 보존형 사용자 상호작용 공개 메커니즘을 설계하기 위해.
• 분산된 HIN들 간의 손상된 메타패스 의미를 복구할 수 있는 분산 이질적 GNN 프레임워크(FedHGNN)를 개발하기 위해.
• 특히 탈중앙화되고 개인정보에 민감한 환경에서 강력한 개인정보 보장 하에 높은 추천 성능을 달성하기 위해.

제안 방법

• 프레임워크는 HIN을 클라이언트에 있는 비공개 HIN과 서버에 있는 공유 HIN으로 분할하여 탈중앙화된 데이터 저장을 가능하게 한다.
• 두 단계의 흐름 기반 기법을 제안한다: 첫째, 유사도 기반 EM 방법을 사용하여 사용자 고차원 패턴을 흐름 처리하여 의미 구조를 유지한다; 둘째, 차수 보존 기반 기법(SDPRR)을 통해 사용자-아이템 상호작용을 흐름 처리하여 그래프 구조를 유지한다.
• 새로운 의미 보존형 공개 방법은 흐름 처리된 사용자 상호작용이 의미 있는 패턴을 유지하면서도 (ε₁, ε₂)-차별적 보장을 충족시킨다.
• FedHGNN은 분산된 HIN들로부터 메타패스 기반 의미를 복구하기 위해 이질적 GNN에서 노드 수준 및 의미 수준의 집계를 사용한다.
• 모델은 두 단계 학습 프로세스를 사용한다: 클라이언트 측 비공개 HIN에서 국지적 GNN 학습과 서버에서의 글로벌 집계이며, 개인정보 보장형 기울기와 임bedding을 사용한다.
• 첫 번째 단계 흐름 처리 동안 고차원 사용자 패턴의 보존을 극대화하기 위해 유사도 기반 기대최대화(EM) 알고리즘을 설계하였다.

실험 결과

연구 질문

• RQ1 차별적 보장 기반으로 분산 HIN 기반 추천 시스템에서 개인정보를 체계적으로 정의하고 보장할 수 있는가?
• RQ2 사용자 데이터가 분산되어 있고 개인정보를 위해 흐름 처리될 경우, 사용자 상호작용의 의미 구조를 어떻게 유지할 수 있는가?
• RQ3 HIN이 클라이언트와 서버에 분할된 분산 환경에서 메타패스 기반 의미를 어떻게 복구할 수 있는가?
• RQ4 분산 HIN 기반 추천에서 유틸리티와 개인정보 간의 상호 교환 관계는 무엇이며, 어떻게 최적화할 수 있는가?
• RQ5 무작위 또는 차수 보존 흐름 처리만으로는 비교할 때 의미 보존형 흐름 처리가 추천 성능 향상에 얼마나 기여하는가?

주요 결과

• FedHGNN은 개인정보 예산 ε=1 하에서 최대 34% 높은 HR@10과 42% 높은 NDCG@10 성능을 기록하여 최신 기준 모델을 초월한다.
• 의미 보존형 흐름 처리 방법(SDPRR)은 무작위 흐름 처리(RR)와 차수 보존 무작위 흐름 처리(DPRR)보다 뚜렷이 뛰어나, 차수와 특성 구조를 모두 보존하는 것이 중요함을 입증한다.
• 공유 HIN 수(n)가 증가함에 따라 성능은 n=20까지 향상되며, 이후에는 유용성 이득이 정점에 도달하거나 약간 감소한다. 이는 개인정보 강도가 감소하기 때문이다.
• 사용자 고차원 패턴에 대해 더 높은 개인정보 예산 ε₁을 설정할수록 추천 성능이 향상되며, 이는 고차원 패턴이 모델링에서 중요한 역할을 함을 확인한다.
• 중간 수준의 두 번째 단계 흐름 처리(ε₂=1)는 성능 향상을 이룬다. 이는 일부 노이즈가 일반화를 향상시킬 수 있음을 시사하지만, 과도한 노이즈는 유용성을 떨어뜨린다.
• 모델은 +ESDPRR* 기준 모델조차도 앞서며, 흐름 처리 후 상호작용 다양성을 유지하는 것이 성능 향상에 핵심적임을 보여준다.