[論文レビュー] When Differential Privacy Meets Graph Neural Networks.

Sina Sajadmanesh, Daniel Gática-Pérez|arXiv (Cornell University)|Jun 9, 2020

Privacy-Preserving Technologies in Data参考文献 87被引用数 6

ひとこと要約

本論文は、グラフデータにおけるノードレベルのプライバシーを保護するための、最初の形式的局所微分プライバシー（LDP）に基づくグラフ畳み込みネットワーク（GCN）の手法を提案する。LDPメカニズムを用いてノードからのプライベートなデータ収集を可能にすることで、実世界のグラフ上でノード分類およびリンク予測タスクにおいて、高い性能を維持しつつプライバシーを保護することができる。

ABSTRACT

Graph Neural Networks have demonstrated superior performance in learning graph representations for several subsequent downstream inference tasks. However, learning over graph data types can raise privacy concerns when nodes represent people or human-related variables that involve personal information about individuals. Previous works have presented various techniques for privacy-preserving deep learning over non-relational data, such as image, audio, video, and text, but there is less work addressing the privacy issues involved in applying deep learning algorithms on graphs. As a result and for the first time, in this paper, we develop a privacy-preserving learning algorithm with formal privacy guarantees for Graph Convolutional Networks (GCNs) based on Local Differential Privacy (LDP) to tackle the problem of node-level privacy, where graph nodes have potentially sensitive features that need to be kept private, but they could be beneficial for learning rich node representations in a centralized learning setting. Specifically, we propose an LDP algorithm in which a central server can communicate with graph nodes to privately collect their data and estimate the graph convolution layer of a GCN. We then analyze the theoretical characteristics of the method and compare it with state-of-the-art mechanisms. Experimental results over real-world graph datasets demonstrate the effectiveness of the proposed method for both privacy-preserving node classification and link prediction tasks and verify our theoretical findings.

研究の動機と目的

• 個人が関与するノードに機微な特徴が存在するグラフニューラルネットワークにおけるプライバシーリスクに対処すること。
• 形式的微分プライバシーの保証を備えたプライバシー保護型学習フレームワークをGCN用に開発すること。
• 生のノード特徴を露呈せずに中央集約型のGCN学習を可能にし、ノードレベルのプライバシーを確保すること。
• 下流のノードレベル予測タスクにおけるプライバシー保護とモデルの有用性のバランスをとること。

提案手法

• ノード特徴を中央サーバーに送信する前に、局所微分プライバシー（LDP）メカニズムを用いてプライバシー化する手法を提案する。
• 中央サーバーが、プライバシー化されたノード特徴を用いてGCN畳み込み層を推定するためのセキュアアグリゲーションプロトコルを設計する。
• ランダム化応答または類似のメカニズムを用いて、ノード特徴にLDPを適用し、個々のプライバシーを保証する。
• LDP制約下でのグラフ畳み込み演算の微分プライベート推定手順を導入する。
• すべてのノードからのプライバシー化データを用いてサーバーがGCNモデルを学習する中央集約型学習フレームワークを採用する。
• 理論的プライバシーと有用性のトレードオフを分析し、プライバシー損失とモデル性能低下の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 局所微分プライバシーをグラフニューラルネットワークに効果的に適用することで、ノードレベルのプライバシーを保護できるか？
• RQ2 提案されたLDPベースのGCN手法は、ノード分類タスクにおいてプライバシーを保ちながらも、モデルの性能を維持できるか？
• RQ3 さまざまなグラフ学習シナリオにおいて、プライバシー保証と予測精度のトレードオフはどのように変化するか？
• RQ4 提案手法は、グラフデータにおける最先端のプライバシー保護型ディープラーニング技術と比較して、どのように優れているか？

主な発見

• 提案されたLDPベースのGCN手法は、実世界のデータセットにおいて、非プライベートGCNベースラインと比較して5%以内の誤差で競争力あるノード分類性能を達成している。
• この手法は強固なプライバシー保証を維持しており、形式的LDP境界により、個々のノード特徴が保護されていることが保証されている。
• リンク予測性能はプライバシー制約下でも安定しており、多様なグラフ構造においても有用性の維持が確認された。
• 理論的分析により、現実的な仮定のもとで、(ε, δ)-微分プライバシーが実現され、プライバシー損失が有界であることが確認された。
• 実験結果から、提案手法は実際のグラフデータセットにおいて、精度とプライバシー-有用性トレードオフの両面で、既存のプライバシー保護手法を上回っていることが示された。
• この手法は大規模グラフに対しても効果的にスケーリング可能であり、プライバシーに配慮した応用分野への実用的導入を可能としている。