[論文レビュー] Degree-Preserving Randomized Response for Graph Neural Networks under Local Differential Privacy

Seira Hidano, Takao Murakami|arXiv (Cornell University)|Feb 21, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、局所的微分プライバシー（LDP）メカニズムとして、度数を保存するランダム化応答（DPRR）を提案する。これは、属性のないグラフにおけるエッジの強力なプライバシー保護を実現するとともに、各ノードの次数を保持する。ウォーナーのランダム化応答とラプラスメカニズムに基づく次数推定、および適応的エッジサンプリングを組み合わせることで、ε=1の条件下で非プライベートモデルに近いグラフ分類精度を達成し、精度と効率の両面で従来手法を著しく上回る。

ABSTRACT

Differentially private GNNs (Graph Neural Networks) have been recently studied to provide high accuracy in various tasks on graph data while strongly protecting user privacy. In particular, a recent study proposes an algorithm to protect each user's feature vector in an attributed graph, which includes feature vectors along with node IDs and edges, with LDP (Local Differential Privacy), a strong privacy notion without a trusted third party. However, this algorithm does not protect edges (friendships) in a social graph, hence cannot protect user privacy in unattributed graphs, which include only node IDs and edges. How to provide strong privacy with high accuracy in unattributed graphs remains open. In this paper, we propose a novel LDP algorithm called the DPRR (Degree-Preserving Randomized Response) to provide LDP for edges in GNNs. Our DPRR preserves each user's degree hence a graph structure while providing edge LDP. Technically, our DPRR uses Warner's RR (Randomized Response) and strategic edge sampling, where each user's sampling probability is automatically tuned using the Laplacian mechanism to preserve the degree information under edge LDP. We also propose a privacy budget allocation method to make the noise in both Warner's RR and the Laplacian mechanism small. We focus on graph classification as a task of GNNs and evaluate the DPRR using three social graph datasets. Our experimental results show that the DPRR significantly outperforms three baselines and provides accuracy close to a non-private algorithm in all datasets with a reasonable privacy budget, e.g., epsilon=1. Finally, we introduce data poisoning attacks to our DPRR and a defense against the attacks. We evaluate them using the three social graph datasets and discuss the experimental results.

研究の動機と目的

• 局所的微分プライバシー（LDP）下での属性のないグラフにおけるエッジの強力なプライバシー保護の欠如に応えること。
• GNNにおけるエッジのLDPを確保しつつ、ノードの次数を含むグラフ構造的性質を保存すること。
• 既存のベースラインを上回る精度と効率を実現する、効率的で正確なLDPメカニズムを開発すること。
• 信頼できる第三者が存在しない分散型SNSにおけるLDPの実用的導入を可能にすること。

提案手法

• DPRRを提案する。2段階のLDPメカニズムである。まず、ラプラスメカニズムを用いて各ノードの真の次数にノイズを追加し、次にノイズを含む次数に基づいてウォーナーのランダム化応答のサンプリング確率を調整する。
• 最終的なエッジサンプリング段階がLDP保証全体を保持するように、後処理不変性を適用する。
• LDPの逐次合成を適用する。ラプラスメカニズムがε₁エッジLDPを提供し、ウォーナーのRRがε₂エッジLDPを提供する。その結果、合計で(ε₁+ε₂)エッジLDPが得られる。
• 次数推定とエッジ反転の両成分におけるノイズを最小化するためのプライバシー予算割り当て戦略を導入する。
• 各ユーザーがノイズを含む次数に比例した確率で近隣ノードをサンプリングする適応的エッジサンプリングを採用し、構造的情報を保持する。
• 既存の特徴ベクトルLDP手法と組み合わせることで、属性付きグラフにおけるエッジと属性の両方の共同保護を実現する。

実験結果

リサーチクエスチョン

• RQ1 属性のないグラフにおける局所的微分プライバシー下で、ノードの次数を保存しつつエッジを保護するLDPメカニズムを設計可能か？
• RQ2 小さなプライバシー予算（例：ε=1）で、強力なプライバシー保証を維持しつつ、GNNにおける高い分類精度を達成できるか？
• RQ3 DPRRは、ランダム化応答やLocalLapといった既存のLDPベースラインと比較して、グラフ分類タスクにおいてより効率的かつ正確か？
• RQ4 ノードの次数を保存することで、グラフ構造を歪ませる手法と比較して、モデル性能が向上するか？

主な発見

• DPRRは、3つの社会的グラフデータセットすべてにおいて、ε=1の条件下で非プライベートベースラインの分類精度の2.5%以内に収束する。
• DPRRは、RR、LocalLap、NonPriv-Partの3つのベースラインと比較して、特にカスタマイズされた設定において顕著に高い分類精度を達成する。
• DPRRの学習時間は、ノード数40,000、ノードあたりエッジ数5のグラフに対して約4時間であるのに対し、RRベースラインは約21日を要する。
• DPRRはノードの次数を高い正確性で保持するが、RRやLocalLapは次数分布を歪め、これが性能差の理由を説明する。
• 次数分布は、属性のないグラフにおけるGNN性能にとって極めて重要であり、DPRRはこの分布を効果的に維持する。
• DPRRは非常に効率的であり、RRに比べてメモリと時間の両方を著しく削減するため、大規模な分散型SNSへの実用的導入が可能である。