[論文レビュー] Federated Heterogeneous Graph Neural Network for Privacy-preserving Recommendation

Bo Yan, Yang Cao+4 more|arXiv (Cornell University)|Oct 18, 2023

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、個人情報保護のためのフェデレーテッド非同型グラフニューラルネットワーク（FedHGNN）を提案する。この手法は、ユーザーとアイテムの相互作用をプライベートな非同型情報ネットワーク（HIN）と共有される非同型情報ネットワーク（HIN）に分割する。微分プライバシーの保証を伴う意味を保全するユーザー相互作用公開手法を導入することで、プライバシーを保護しつつ高次なパターンを維持した協調学習を可能にし、ε=1のプライバシー予算下で、ベースラインと比較してHR@10が最大34%、NDCG@10が最大42%向上する。

ABSTRACT

The heterogeneous information network (HIN), which contains rich semantics depicted by meta-paths, has emerged as a potent tool for mitigating data sparsity in recommender systems. Existing HIN-based recommender systems operate under the assumption of centralized storage and model training. However, real-world data is often distributed due to privacy concerns, leading to the semantic broken issue within HINs and consequent failures in centralized HIN-based recommendations. In this paper, we suggest the HIN is partitioned into private HINs stored on the client side and shared HINs on the server. Following this setting, we propose a federated heterogeneous graph neural network (FedHGNN) based framework, which facilitates collaborative training of a recommendation model using distributed HINs while protecting user privacy. Specifically, we first formalize the privacy definition for HIN-based federated recommendation (FedRec) in the light of differential privacy, with the goal of protecting user-item interactions within private HIN as well as users' high-order patterns from shared HINs. To recover the broken meta-path based semantics and ensure proposed privacy measures, we elaborately design a semantic-preserving user interactions publishing method, which locally perturbs user's high-order patterns and related user-item interactions for publishing. Subsequently, we introduce an HGNN model for recommendation, which conducts node- and semantic-level aggregations to capture recovered semantics. Extensive experiments on four datasets demonstrate that our model outperforms existing methods by a substantial margin (up to 34% in HR@10 and 42% in NDCG@10) under a reasonable privacy budget.

研究の動機と目的

• 中央集権的HINベースのレコメンデーションシステムにおけるデータスパarsityとプライバシー漏洩の課題に対処すること。
• 微分プライバシーを用いてHINベースのフェデレーテッドレコメンデーションのプライバシー定義を形式化すること。
• ユーザーとアイテムの相互作用および高次なユーザーパターンの両方を保護する意味を保全するユーザー相互作用公開メカニズムの設計。
• 分散されたHIN間で壊れたメタパスの意味を回復できるフェデレーテッド非同型GNNフレームワーク（FedHGNN）の開発。
• 特に分散型かつプライバシーに敏感な環境において、強いプライバシー保証のもとで高いレコメンデーション性能を達成すること。

提案手法

• フレームワークはHINをクライアント上のプライベートHINとサーバー上の共有HINに分割し、分散型データ保存を可能にする。
• 二段階のノイズ付与機構を提案する：第一段階では、類似度に基づくEM法を用いてユーザーの高次パターンをノイズ化し、意味構造を保つ。第二段階では、次数を保全する機構（SDPRR）を用いてユーザー・アイテム相互作用をノイズ化し、グラフ構造を維持する。
• 画期的な意味を保全する公開手法により、ノイズを加えたユーザー相互作用が意味のあるパターンを保持しつつ、(ε₁, ε₂)-微分プライバシーを満たす。
• FedHGNNは、分散されたHINからメタパスに基づく意味を回復するために、ノードレベルおよび意味レベルのアグリゲーションを非同型GNNで実装する。
• 二段階の学習プロセスを採用する：クライアント側のプライベートHINで局所的GNN学習を実施し、サーバーでグローバルアグリゲーションを実施。プライバシー保護型の勾配と埋め込みを用いる。
• 第一段階のノイズ付与において、高次ユーザーパターンの保存を最大化するための類似度ベースの期待最大化（EM）アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを用いたフェデレーテッドHINベースのレコメンデーションシステムにおいて、プライバシーを形式的に定義し、保証することは可能か？
• RQ2 ユーザーのデータが分散され、プライバシーのためノイズが加えられた状況で、ユーザー相互作用の意味構造をどのように保全できるか？
• RQ3 HINがクライアントとサーバーに分散されているフェデレーテッド環境において、メタパスに基づく意味をどのように回復できるか？
• RQ4 フェデレーテッドHINベースのレコメンデーションにおいて、有用性とプライバシーのトレードオフはどのようなものか？そして、どのように最適化できるか？
• RQ5 意味を保全するノイズ付与は、単にランダムまたは次数を保全するノイズ付与と比較して、レコメンデーション性能をどの程度向上させるか？

主な発見

• FedHGNNは、ε=1のプライバシー予算下で、最先端のベースラインと比較してHR@10が最大34%、NDCG@10が最大42%高い性能を達成する。
• 意味を保全するノイズ付与法（SDPRR）は、ランダムノイズ（RR）および次数を保全するランダムノイズ（DPRR）を大きく上回り、次数と特徴構造の両方を保全することが重要であることを示している。
• 共有HINの数nが増加するにつれて性能が向上し、n=20まで向上が続くが、その後はプライバシー強度の低下により利得が頭打ちまたはわずかに低下する。
• ユーザーの高次パターンに対するプライバシー予算ε₁を高く設定すると、レコメンデーション性能が向上し、それらがモデリングにおいて重要であることを裏付けている。
• 第二段階のノイズ付与を中程度に（ε₂=1）に設定すると性能が向上し、一部のノイズが一般化を向上させることを示唆しているが、過剰なノイズは有用性を低下させる。
• モデルは+ESDPRR*ベースラインでさえも上回り、ノイズ付与後に相互作用の多様性を保つことが性能向上に不可欠であることを示している。