[論文レビュー] DPAR: Decoupled Graph Neural Networks with Node-Level Differential Privacy

Qiuchen Zhang, H. Lee+4 more|arXiv (Cornell University)|Oct 10, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、微分プライバシーを厳密に満たすノードレベルのプライバシー保護を実現するため、異なるプライバシー保護手法を用いてメッセージ伝達と特徴集約を分離する新しいフレームワーク DPAR を提案する。DP-APPR（微分プライバシーを適用したパーソナライズドページランク）を用いてグラフ構造の情報を保護し、DP-SGD（微分プライバシーを適用した確率的勾配降下法）と組み合わせることで、ノード特徴量とグラフ構造の両方を保護する。実世界のデータセット上でも高いモデル性能を維持しながら、強力なプライバシー保証を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved great success in learning with graph-structured data. Privacy concerns have also been raised for the trained models which could expose the sensitive information of graphs including both node features and the structure information. In this paper, we aim to achieve node-level differential privacy (DP) for training GNNs so that a node and its edges are protected. Node DP is inherently difficult for GNNs because all direct and multi-hop neighbors participate in the calculation of gradients for each node via layer-wise message passing and there is no bound on how many direct and multi-hop neighbors a node can have, so existing DP methods will result in high privacy cost or poor utility due to high node sensitivity. We propose a Decoupled GNN with Differentially Private Approximate Personalized PageRank (DPAR) for training GNNs with an enhanced privacy-utility tradeoff. The key idea is to decouple the feature projection and message passing via a DP PageRank algorithm which learns the structure information and uses the top-$K$ neighbors determined by the PageRank for feature aggregation. By capturing the most important neighbors for each node and avoiding the layer-wise message passing, it bounds the node sensitivity and achieves improved privacy-utility tradeoff compared to layer-wise perturbation based methods. We theoretically analyze the node DP guarantee for the two processes combined together and empirically demonstrate better utilities of DPAR with the same level of node DP compared with state-of-the-art methods.

研究の動機と目的

• 訓練済みモデルがノード特徴量やエッジから機微な情報を漏洩させる可能性がある GNN における重要なプライバシーリスクに対処すること。
• ノード特徴量とそれらに接続されたエッジを同時に保護するノードレベルの微分プライバシーを形式的に確立すること。
• ノード間の相関性による高い感度が標準的な DP 手法の効果を損なうという GNN の課題を克服すること。
• メッセージ伝達と特徴集約を分離することで、有効な DP 応用が可能な二段階の学習フレームワークを設計すること。
• 厳密なノードレベル DP の保証のもとで、GNN 学習におけるプライバシーと性能のトレードオフを良好に達成すること。

提案手法

• GNN 学習プロセスを二段階に分離：パーソナライズドページランク（APPR）によるメッセージ伝達と、DP-SGD を用いた特徴集約。
• ガウス機構と指数機構を用いて、グラフ構造情報の保護を実現する微分プライバシーを適用した APPR アルゴリズムを提案。
• 勾配クリッピングとノイズ注入を施すことで、ノード特徴量を保護する DP-SGD を特徴集約段階に適用。
• APPR ベクトルにおける冗長なノイズを低減するために、DP-APPR でクリッピングバインドを用いて感度を制御。
• DP-APPR と DP-SGD を統合的に統合したフレームワークを構築し、エンドツーエンドのノードレベル微分プライバシーを保証。
• DP-APPR の結果に依存するサンプリングプロセスに起因するプライバシー劣化を分析し、DP-GNN アルゴリズムでこれを緩和。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴量とそれらに接続されたエッジを両方保護する、厳密なノードレベル微分プライバシーを GNN に対して達成できるか？
• RQ2 メッセージ伝達と特徴集約を分離することで、感度を低減し、GNN における有効な DP 応用を可能にする方法は何か？
• RQ3 実世界のグラフ上で DP-APPR と DP-SGD を GNN 学習に適用した際のプライバシーと性能のトレードオフはどのようなものか？
• RQ4 DP-APPR と DP-SGD のクリッピングバインドの選定が、モデルの性能とプライバシー保証に与える影響は何か？
• RQ5 ノード特徴量とエッジの両方を形式的に保護するノードレベル DP を達成しつつ、下流タスクのモデル性能を損なわないフレームワークを設計できるか？

主な発見

• 提案された DPAR フレームワークは、GNN におけるノード特徴量とそれらに接続されたエッジを両方保護することで、強力なノードレベル微分プライバシーを達成する。
• DP-APPR はノードの相関性を効果的に低減し、感度を制限することで、DP-SGD の有効な適用を可能にする。
• 実世界のデータセットを用いた実験から、DPAR は厳密なプライバシー予算のもとでも高いモデル精度を維持しており、望ましいプライバシーと性能のトレードオフを示している。
• DP-APPR におけるクリッピングバインド（0.01 と 0.001）の使用により、冗長なノイズが低減され、モデル性能が向上した。
• 勾配ノルムのクリッピングバインドを 1 に設定した DP-SGD は、安定した最適化と効果的なプライバシー保護を実現した。
• 本フレームワークは、ノード特徴量とエッジの両方をカバーするノードレベル DP を形式的に達成した初のものであり、プライベート GNN 学習の新しい基準を確立した。