[論文レビュー] Differentially Private Decoupled Graph Convolutions for Multigranular Topology Protection

Eli Chien, Weining Chen+4 more|arXiv (Cornell University)|Jul 12, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、グラフニューラルネットワーク（GNNs）におけるマルチスケールのトポロジー・プライバシーを実現するための新規フレームワーク、Differentially Private Decoupled Graph Convolutions（DPDGC）を提案する。ノード特徴量とトポロジーの集約を分離し、k近傍レベルの隣接性という概念を導入することで、標準的なDP-GNNと比較して、特にグラフ構造とノード属性のプライバシー要件が異なる状況下でも優れたプライバシー・ユーティリティトレードオフを達成する。

ABSTRACT

GNNs can inadvertently expose sensitive user information and interactions through their model predictions. To address these privacy concerns, Differential Privacy (DP) protocols are employed to control the trade-off between provable privacy protection and model utility. Applying standard DP approaches to GNNs directly is not advisable due to two main reasons. First, the prediction of node labels, which relies on neighboring node attributes through graph convolutions, can lead to privacy leakage. Second, in practical applications, the privacy requirements for node attributes and graph topology may differ. In the latter setting, existing DP-GNN models fail to provide multigranular trade-offs between graph topology privacy, node attribute privacy, and GNN utility. To address both limitations, we propose a new framework termed Graph Differential Privacy (GDP), specifically tailored to graph learning. GDP ensures both provably private model parameters as well as private predictions. Additionally, we describe a novel unified notion of graph dataset adjacency to analyze the properties of GDP for different levels of graph topology privacy. Our findings reveal that DP-GNNs, which rely on graph convolutions, not only fail to meet the requirements for multigranular graph topology privacy but also necessitate the injection of DP noise that scales at least linearly with the maximum node degree. In contrast, our proposed Differentially Private Decoupled Graph Convolutions (DPDGCs) represent a more flexible and efficient alternative to graph convolutions that still provides the necessary guarantees of GDP. To validate our approach, we conducted extensive experiments on seven node classification benchmarking and illustrative synthetic datasets. The results demonstrate that DPDGCs significantly outperform existing DP-GNNs in terms of privacy-utility trade-offs.

研究の動機と目的

• 既存のDP-GNNではノード属性とグラフトポロジーの両方が異なるプライバシー水準を要する場合に、マルチスケールのプライバシー保護が不十分であるという問題に対処する。
• トポロジーのプライバシーを柔軟に細かく制御できるようにするため、新たなグラフデータセット隣接性の概念である「k近傍レベル隣接性」を形式化する。
• モデルパラメータとノード予測の両方が微分プライバシーであることを保証するため、グラフ微分プライバシー（GDP）を提案する。
• 標準的なグラフ畳み込みはマルチスケールのプライバシーをサポートできず、最大ノード次数に比例してノイズをスケーリングする必要があるという制限を克服する。
• 微分プライバシー制約下での標準GNNの代替として、より効率的かつプライバシーに配慮した代替としてDPDGCを設計・評価する。

提案手法

• エッジレベルおよびノードレベル隣接性を一般化する統一的なk近傍レベル隣接性定義を導入し、マルチスケールのトポロジー・プライバシーを可能にする。
• モデル重みとノード予測の両方に対して微分プライバシーを正式に保証するため、グラフ微分プライバシー（GDP）を提案する。
• グラフ畳み込みを2段階に分離する：(1) ノード特徴量の集約、(2) トポロジーに依存するメッセージパッシング。これにより、構造情報からのプライバシー漏洩を低減する。
• k近傍レベル隣接性に適合したノイズ注入を用いて、分離されたコンponentsに微分プライバシーを適用し、ノード次数に比例してノイズをスケーリングするのを回避する。
• 最終予測のためにノード埋め込みと特徴量を連結するDPDGCモデルを設計し、プライバシーを保ちつつユーティリティを維持する。
• 属性とトポロジーの両方のプライバシーを異なるスケールで考慮する統一的なGDP分析フレームワークを用いて、プライバシー境界を導出する。

Figure 1: Top: (a) Illustration of a training graph dataset. In the example, the graph involves $6$ nodes and does not contain self-loops. Nodes $5$ and $6$ are left unlabeled in the training dataset $\mathcal{D}$ . (b) An illustration of our novel notion of $k$ -neighbor-level graph dataset adjacen

実験結果

リサーチクエスチョン

• RQ1 統一的なグラフデータセット隣接性の概念は、GNNにおけるノード属性とグラフトポロジーの両方のマルチスケールのプライバシー保護を可能にするか？
• RQ2 標準的なグラフ畳み込みは、微分プライバシー下で柔軟なプライバシー・ユーティリティトレードオフを実現できないという本質的欠陥を有するか？
• RQ3 分離型グラフ畳み込みは、同じプライバシー予算下で、標準GNNと比較してノイズ要件を低減できるか？
• RQ4 k近傍レベル隣接性パラメータは、グラフ学習におけるプライバシー・ユーティリティトレードオフにどのように影響するか？
• RQ5 提案されたDPDGCフレームワークは、多様なベンチマークにおいて、既存のDP-GNNよりも精度とプライバシー保証の両面で優れているか？

主な発見

• エッジやノードレベルの隣接性に基づく標準的なDP-GNNは、マルチスケールのトポロジー・プライバシーをサポートできず、最大ノード次数に比例してDPノイズを必要とする。
• 提案されたk近傍レベル隣接性により、トポロジーのプライバシーを柔軟にパラメータ制御可能となり、プライバシー強度とモデルユーティリティのトレードオフを実現できる。
• DPDGCは7つのノード分類ベンチマークで最先端の性能を達成し、Corraデータセットにおいてエッジ-GDPでε=1の条件下で、GAPやDP-MLPと比較して最大11.3%高い精度を達成した。
• Facebookデータセットでは、強いプライバシー制約下でも高いユーティリティを維持し、エッジ-GDPでε=1の条件下で88.59%の精度を達成した。これは、RandEdge+SAGE（46.42%）やDP-SAGE（31.41%）を大きく上回った。
• cSBMの合成実験では、グラフ構造が情報量が多い（|ϕ|が大きい）状況下で、DPDGCはDP-MLPを上回った。これは、DPDGCがプライバシーを保ちながらもトポロジーの情報を効果的に活用できることを示している。
• 同等のプライバシー予算下で、すべての評価設定においてDPDGCが最高の精度を達成した。これは、プライバシーとユーティリティの両立において、その効率性と有効性を裏付けている。

Figure 2: Illustration of the GAP and DPDGC (top) architectures and their corresponding information flow (bottom). Green modules indicate DP-MLPs trained with a DP-optimizer [ 14 ] . Blue modules are non-trainable modules. We use red frames to point to designs with DP guarantees (i.e., DP-Emb and PM