[論文レビュー] GAP: Differentially Private Graph Neural Networks with Aggregation Perturbation

Sina Sajadmanesh, Ali Shahin Shamsabadi+2 more|arXiv (Cornell University)|Mar 2, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、GAPと呼ばれる、メッセージスワッピングの集約に直接ノイズを追加することにより、エッジレベルおよびノードレベルのプライバシーを両立させる、微分プライバシーを満たすグラフニューラルネットワークを提案する。この手法は、プライバシー予算の追加コストがなく、学習時および推論時におけるプライバシーを保証しながら、マルチホップ近傍学習を可能にすることで、最先端のDP-GNNを上回る性能を達成する。

ABSTRACT

In this paper, we study the problem of learning Graph Neural Networks (GNNs) with Differential Privacy (DP). We propose a novel differentially private GNN based on Aggregation Perturbation (GAP), which adds stochastic noise to the GNN's aggregation function to statistically obfuscate the presence of a single edge (edge-level privacy) or a single node and all its adjacent edges (node-level privacy). Tailored to the specifics of private learning, GAP's new architecture is composed of three separate modules: (i) the encoder module, where we learn private node embeddings without relying on the edge information; (ii) the aggregation module, where we compute noisy aggregated node embeddings based on the graph structure; and (iii) the classification module, where we train a neural network on the private aggregations for node classification without further querying the graph edges. GAP's major advantage over previous approaches is that it can benefit from multi-hop neighborhood aggregations, and guarantees both edge-level and node-level DP not only for training, but also at inference with no additional costs beyond the training's privacy budget. We analyze GAP's formal privacy guarantees using Rényi DP and conduct empirical experiments over three real-world graph datasets. We demonstrate that GAP offers significantly better accuracy-privacy trade-offs than state-of-the-art DP-GNN approaches and naive MLP-based baselines. Our code is publicly available at https://github.com/sisaman/GAP.

研究の動機と目的

• GNNにおける機微なグラフ構造を保護する課題、特に微分プライバシー（DP）の下での課題に対処すること。
• モデルクエリが近傍集約を通じて情報漏洩を引き起こす可能性があるGNNにおける、学習時および推論時のプライバシーを保証すること。
• 形式的なDP保証を満たしつつ、マルチホップ集約を用いて高い表現力を持つGNNアーキテクチャを設計すること。
• DP-SGDなどの標準的なDP手法が、構造的データの相関性によりGNNでは機能しないという限界を克服すること。

提案手法

• GAPは、エッジ情報を使用せずにプライベートなノード埋め込みを学習するエンコーダを備えた3モジュールアーキテクチャを導入する。
• 集約モジュールは、集約関数の感度に基づいて、ノイズを含むノード埋め込みの集約にガウス機構を適用し、エッジまたはノードレベルのDPを保証する。
• 分類モジュールは、元のグラフ構造にアクセスせずにプライベートな集約に基づいてニューラルネットワークを訓練し、プライバシーを維持する。
• ノードレベルのプライバシーを実現するため、感度を制御しノイズの影響を軽減するための次数上限 $ D $ が導入される。
• 形式的なプライバシー解析のため、複数層にわたるよりきついプライバシー会計を可能にするために、Rényi DPが使用される。
• 推論時におけるプライバシーを維持するため、予測が生のグラフデータではなく、プライベートな集約にのみ依存するようにアーキテクチャが設計される。

実験結果

リサーチクエスチョン

• RQ1 学習時および推論時にエッジレベルおよびノードレベルの微分プライバシーを保証できるGNNアーキテクチャを設計できるか？
• RQ2 プライバシーを損なわず、微分プライバシーGNNにおいてマルチホップ近傍情報を効果的に活用する方法は何か？
• RQ3 ホップ数 $ K $ の変化が、微分プライバシーGNNにおけるプライバシー-精度トレードオフに与える影響は何か？
• RQ4 次数上限 $ D $ の選択が、さまざまなプライバシー予算におけるノードレベルプライベートGNNの性能に与える影響は何か？
• RQ5 集約ノイズ法は、実世界のグラフデータセットにおいて、既存のDP-GNN手法よりも精度-プライバシーのトレードオフを改善できるか？

主な発見

• GAPは、3つの実世界のグラフデータセットにおいて、最先端のDP-GNNアプローチおよび単純なMLPベースラインと比較して、顕著に優れた精度-プライバシーのトレードオフを達成する。
• モデルの精度はホップ数 $ K $ が増加するに従い、低プライバシー予算ではノイズの影響で小さな $ K $ でピークに達し、高プライバシー予算ではより大きな $ K $ で利益を享受する。
• ノードレベルプライバシーにおいて、精度は次数上限 $ D $ が最適点まで向上するが、その後感度の上昇に伴うノイズの増大により性能が低下する。
• Redditでは、$ D $ が増加するにつれて精度が継続的に向上するが、FacebookおよびAmazonではピークに達した後、低下する傾向を示し、情報保持とノイズ注入のトレードオフを反映している。
• プライバシー予算は強い影響を持つ：$ \epsilon $ の値が高くなると、$ K $ や $ D $ を大きくでき、結果として性能が向上する。
• 本手法はエンドツーエンドのプライバシーを保証する——学習時および推論時ともに微分プライバシーが満たされる——追加コストはプライバシー予算の初期割り当てのみで、それ以上の追加負荷はない。