[論文レビュー] Vertical Federated Graph Neural Network for Recommender System

Peihua Mai, Yan Pang|arXiv (Cornell University)|Mar 10, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、プライバシー保護型の共同学習を可能にする、ユーザー・アイテムデータが組織間で非重複する状況を想定した、推薦システム向けの最初の垂直フェデレーテッドグラフニューラルネットワーク（VerFedGNN）を提案する。近隣埋め込みの集約にランダムプロジェクションを、勾配伝送に三値量子化を用いることで、高い推薦精度を達成するとともに、脱匿名化攻撃に対するプライバシー保護を顕著に強化する。

ABSTRACT

Conventional recommender systems are required to train the recommendation model using a centralized database. However, due to data privacy concerns, this is often impractical when multi-parties are involved in recommender system training. Federated learning appears as an excellent solution to the data isolation and privacy problem. Recently, Graph neural network (GNN) is becoming a promising approach for federated recommender systems. However, a key challenge is to conduct embedding propagation while preserving the privacy of the graph structure. Few studies have been conducted on the federated GNN-based recommender system. Our study proposes the first vertical federated GNN-based recommender system, called VerFedGNN. We design a framework to transmit: (i) the summation of neighbor embeddings using random projection, and (ii) gradients of public parameter perturbed by ternary quantization mechanism. Empirical studies show that VerFedGNN has competitive prediction accuracy with existing privacy preserving GNN frameworks while enhanced privacy protection for users' interaction information.

研究の動機と目的

• プライバシーおよび商業的制約のため、ユーザー・アイテム相互作用データが組織間で分離されている状況下で、共同学習に基づくGNNベースの推薦システムを訓練する課題に対処すること。
• 生のユーザー相互作用データやグラフトポロジーを共有せずに、安全なモデル学習を可能にする垂直フェデレーテッド学習フレームワークを設計すること。
• 部分グラフ間での埋め込み伝搬中にユーザー相互作用のプライバシーを保護しつつ、モデル性能を維持すること。
• 既存のフェデレーテッドGNNフレームワークの脆弱性を実証するため、脱匿名化攻撃を設計・評価し、提案手法のプライバシー保護メカニズムの有効性を検証すること。

提案手法

• クライアント間で近隣埋め込みの和を圧縮・送信するためにランダムプロジェクションを採用し、通信コストを低減するとともにプライバシーを保護する。
• パブリックモデルパラメータの勾配を摂動・送信するために三値量子化を用い、情報漏洩を最小限に抑えつつ、モデル更新の忠実度を維持する。
• 各クライアントが異なるアイテム集合を保有するが、同じユーザー基盤を共有する垂直フェデレーテッド学習フレームワークを設計し、データ共有なしに共同学習を可能にする。
• サーバーが、暗号化されたプライバシー保護通信プロトコルを用いて、クライアント間でプロジェクションされた近隣埋め込みを集約し、モデル更新を調整する。
• 理論的プライバシー解析を適用し、提案手法が微分プライバシーおよびkアナニマスティーの原則に基づき、ユーザー相互作用データを保護することを示す。
• 勾配からのクロスグラフ相互作用推定を目的とした脱匿名化攻撃を実装し、三値量子化の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー・アイテム相互作用データを共有せずに、生のデータを保有する組織間で、共同学習可能な垂直フェデレーテッドGNNフレームワークを設計できるか？
• RQ2 非重複する部分グラフ間で、正確な埋め込み伝搬を実現しつつ、プライバシーを保護するためのランダムプロジェクションの有効性はどの程度か？
• RQ3 三値量子化された勾配は、非量子化またはノイズ追加された勾配と比較して、脱匿名化攻撃のリスクをどの程度低減するか？
• RQ4 プライバシー制約下で、VerFedGNNは集中型GNNと比較してどの程度の推薦精度を達成するか？
• RQ5 提案フレームワークは、大規模データセットにおける通信コストとスケーラビリティにどのような影響を与えるか？

主な発見

• VerFedGNNは競争力のある推薦精度を達成し、YelpデータセットではRMSEが1.312を記録した（集中型GNNの1.302と僅か0.01の差）が、行列分解法（1.41）と比較して顕著な改善を示した。
• ランダムプロジェクションの導入により、BookCrossingにおける脱匿名化攻撃のF1スコアが0.0305（プロジェクションなし）から0.0037に低下し、強力なプライバシー保護が実証された。
• 三値量子化により、20％の攻撃率下で勾配ベースの脱匿名化攻撃のF1スコアが0.0057にまで低下し、FedPerGNN（0.0168）やFedSage+（0.0220）と比較して顕著に低い水準を維持した。
• 通信コストは1ラウンドあたり1パーティあたり660.9MB（合計6609MB）であり、1ラウンドあたり5％のユーザーサンプリングを適用することで、送信時間を4.5秒まで短縮可能である。
• 本フレームワークはスケーラブルであり、690万件以上のレーティング、190万ユーザー、15万アイテムを含む大規模なYelpデータセット上でも正常にデプロイされた。
• 実験的結果から、VerFedGNNは高い性能を維持するとともに、特に勾配推論攻撃に対して、従来のフェデレーテッドGNNフレームワークよりも強力なプライバシー保証を提供することが確認された。