[論文レビュー] Heterogeneous Graph Neural Network for Privacy-Preserving Recommendation

Yuecen Wei, Xingcheng Fu+5 more|arXiv (Cornell University)|Oct 2, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、推薦システムにおけるノード特徴量およびトポロジカル構造の両方を保護するため、微分プライバシーを活用した非均質的グラフニューラルネットワークフレームワークHeteDPを提案する。勾配のノイズ付与と二段階最適化によるプライバシー予算割り当てを組み合わせたパイプラインを採用することで、HeteDPは推論攻撃に対して効果的に耐性を示しつつ、4つの公開ベンチマークにおいても高いモデル実用性を維持する。

ABSTRACT

Social networks are considered to be heterogeneous graph neural networks (HGNNs) with deep learning technological advances. HGNNs, compared to homogeneous data, absorb various aspects of information about individuals in the training stage. That means more information has been covered in the learning result, especially sensitive information. However, the privacy-preserving methods on homogeneous graphs only preserve the same type of node attributes or relationships, which cannot effectively work on heterogeneous graphs due to the complexity. To address this issue, we propose a novel heterogeneous graph neural network privacy-preserving method based on a differential privacy mechanism named HeteDP, which provides a double guarantee on graph features and topology. In particular, we first define a new attack scheme to reveal privacy leakage in the heterogeneous graphs. Specifically, we design a two-stage pipeline framework, which includes the privacy-preserving feature encoder and the heterogeneous link reconstructor with gradients perturbation based on differential privacy to tolerate data diversity and against the attack. To better control the noise and promote model performance, we utilize a bi-level optimization pattern to allocate a suitable privacy budget for the above two modules. Our experiments on four public benchmarks show that the HeteDP method is equipped to resist heterogeneous graph privacy leakage with admirable model generalization.

研究の動機と目的

• 推薦に用いられる非均質的グラフにおけるプライバシー漏洩を解決すること。既存の均質的グラフプライバシー手法は、多様なノードタイプと複雑な関係性のため、効果を発揮しない。
• ノード特徴量とグラフトポロジーの両方を推論攻撃から保護する二重プライバシー保証メカニズムの設計。
• 特徴量とトポロジーのノイズ付与におけるプライバシー予算の最適割り当てを最適化し、モデル性能とプライバシー保護の両立を図ること。
• 実世界の非均質的グラフベンチマークにおいて、厳密なプライバシーと実用性メトリクスを用いて提案手法の有効性を評価すること。

提案手法

• プライバシー保護型特徴エンコーダーと、勾配ノイズ付与に基づく微分プライバシーを用いた非均質的リンク再構築器から成る二段階パイプラインを提案。
• 非均質的グラフにおけるプライバシー漏洩を露呈するための新規な攻撃スキームを導入し、マルチレベル保護の必要性を検証。
• ガウスノイズを用いた微分プライバシーを適用し、ノード特徴量とトポロジカル構造の両方をノイズ化することで、(ε, δ)-微分プライバシーを確保。
• 特徴量モジュールとトポロジーモジュール間でのプライバシー予算動的割り当てを実現する二段階最適化フレームワークを採用し、性能劣化を最小限に抑える。
• 多関係型畳み込み層を用いて、非均質情報ネットワーク（HINs）における多様なノードタイプとエッジタイプ間の表現を学習。
• t-SNE可視化を用いて、ノイズ付与後もノードタイプ間のクラスタリングギャップが小さくなることを確認し、特徴量保護が有効かつ実用性を損なわないことを裏付けた。

実験結果

リサーチクエスチョン

• RQ1 プライバシー保護フレームワークは、非均質的グラフにおけるノード特徴量とトポロジカル構造の両方を効果的に保護できるか？
• RQ2 提案されたHeteDP手法は、多様なノードタイプ間の関係性と意味的依存関係を悪用する推論攻撃に対して、どのように耐性を示すか？
• RQ3 特徴量とトポロジーのノイズ付与におけるプライバシー予算の最適割り当ては、モデル実用性を最大化すると同時に強力なプライバシー保証を達成するか？
• RQ4 二段階最適化戦略は、均一な予算割り当てと比較して、モデル性能をどのように向上させるか？
• RQ5 本モデルは、データ分布が異なる多様な非均質的グラフベンチマークにおいて、どの程度一般化性能を示すか？

主な発見

• HeteDPは、ノード特徴量とトポロジカル構造の両方をノイズ化することで、非均質的グラフにおける推論攻撃に対して強力なプライバシー保護を実現した。
• プライバシー予算割り当ての二段階最適化戦略により、均一な割り当てと比較してモデル性能が向上し、リンク予測タスクにおけるAUCスコアの向上が確認された。
• ACMデータセットでは、ε = 1の条件下でリンク予測のROC-AUCスコアが約80％に達し、中程度のプライバシー予算でも高い実用性を示した。
• 感度分析の結果、異なるデータセットはプライバシー予算εに対して異なる感受性を示し、ACMはIMDBよりも反応が鋭いことが判明。これにより、データセット固有のチューニングの必要性が強調された。
• t-SNE可視化により、HeteDPがノイズ付与後もノードタイプ間のクラスタリングギャップを小さくし、特徴量保護が有効かつ構造的実用性を損なわないことを確認した。
• 4つの公開ベンチマーク（ACM, IMDB, DBLP, および別のデータセット）における包括的な実験により、HeteDPの耐障害性、一般化性能、およびプライバシー保護の有効性が裏付けられた。