[論文レビュー] Graph Embedding for Recommendation against Attribute Inference Attacks

Shijie Zhang, Hongzhi Yin+4 more|arXiv (Cornell University)|Jan 29, 2021

Privacy-Preserving Technologies in Data参考文献 56被引用数 5

ひとこと要約

GERAIは、局所的微分プライバシーと機能的メカニズムを用いてユーザー特徴とモデル勾配をノイズで摂動させることで、属性推定攻撃から防御する、差分プライバシーを適用したグラフ畳み込みニューラルネットワークを提案する。推薦精度を損なわず強力なプライバシー保護を実現し、既存手法に比べて攻撃耐性と有用性の両面で優れている。

ABSTRACT

In recent years, recommender systems play a pivotal role in helping users identify the most suitable items that satisfy personal preferences. As user-item interactions can be naturally modelled as graph-structured data, variants of graph convolutional networks (GCNs) have become a well-established building block in the latest recommenders. Due to the wide utilization of sensitive user profile data, existing recommendation paradigms are likely to expose users to the threat of privacy breach, and GCN-based recommenders are no exception. Apart from the leakage of raw user data, the fragility of current recommenders under inference attacks offers malicious attackers a backdoor to estimate users' private attributes via their behavioral footprints and the recommendation results. However, little attention has been paid to developing recommender systems that can defend such attribute inference attacks, and existing works achieve attack resistance by either sacrificing considerable recommendation accuracy or only covering specific attack models or protected information. In our paper, we propose GERAI, a novel differentially private graph convolutional network to address such limitations. Specifically, in GERAI, we bind the information perturbation mechanism in differential privacy with the recommendation capability of graph convolutional networks. Furthermore, based on local differential privacy and functional mechanism, we innovatively devise a dual-stage encryption paradigm to simultaneously enforce privacy guarantee on users' sensitive features and the model optimization process. Extensive experiments show the superiority of GERAI in terms of its resistance to attribute inference attacks and recommendation effectiveness.

研究の動機と目的

• GCNベースのレコメンデーションシステムが、相互作用履歴と推薦結果から攻撃者が機微なユーザー属性を推定するという脆弱性に対処するため。
• レコメンデーション性能を低下させることなく、生のユーザー特徴とモデル最適化プロセスの両方を保護するプライバシー保護型レコメンデーションフレームワークを開発するため。
• 差分プライバシーとグラフニューラルネットワークの間のギャップを埋め、数学的プライバシー保証を確保するため。
• 従来の手法が精度を犠牲にしたり、特定の攻撃モデルやデータタイプにのみ対応したりするという制限を克服するため。

提案手法

• GERAIは、局所的差分プライバシー（LDP）をグラフ畳み込みネットワークと統合し、モデル学習前にユーザー特徴を摂動させることで、機微な属性のプライバシーを保証する。
• 最適化プロセス中に、調整されたノイズをモデル勾配に追加する機能的メカニズムを採用し、訓練プロセスを推定攻撃から保護する。
• 二段階の暗号化パラダイムを設計：第一段階でユーザー特徴をLDPで摂動し、第二段階でモデル更新に機能的メカニズムに基づくノイズ注入を実施する。
• 摂動されたが意味的に意味のあるデータから学習することで、ユーザーの好み表現を維持し、推薦の有用性を保つ。
• 差分プライバシーを入力特徴とモデルパラメータの両方に形式的に適用し、(ε, δ)-DPフレームワーク下できめ細やかなプライバシー保証を実現する。
• 推薦精度とプライバシー制約の両立を図る微分可能損失関数を用いて、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 GCNベースのレコメンデーションシステムは、推薦精度を著しく損なわずに属性推定攻撃に対して耐性を持たせられるか？
• RQ2 グラフベースのレコメンデーション環境において、差分プライバシーをユーザー特徴とモデル勾配の両方に効果的に適用する方法は何か？
• RQ3 特徴と勾配の二段階摂動が、グラフレコメンデーションシステムにおけるプライバシーと有用性のトレードオフに与える影響は何か？
• RQ4 局所的差分プライバシーと機能的メカニズムを組み合わせることで、協調フィルタリングにおいて強力で数学的に裏付けられたプライバシー保証を提供できるか？

主な発見

• GERAIはベースライン手法に比べて、属性推定攻撃に対する優れた耐性を示し、攻撃者が機微な属性を予測する成功率を顕著に低下させた。
• モデルは高い推薦精度を維持しており、非プライベートなGCNベースラインと同等の性能を示し、効果的なプライバシーと有用性のトレードオフを実現した。
• LDPによる特徴摂動と機能的メカニズムによる勾配摂動を組み合わせた二段階摂動機構は、ユーザーデータとモデル最適化の両方を効果的に保護した。
• 実験の結果、GERAIはプライバシー保護とレコメンデーション効果の両面で、既存のプライバシー保護型レコメンデーションシステムを上回った。