[논문 리뷰] GAP: Differentially Private Graph Neural Networks with Aggregation Perturbation

Sina Sajadmanesh, Ali Shahin Shamsabadi외 2명|arXiv (Cornell University)|2022. 03. 02.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 차등적 비밀보장(Private) 그래프 신경망(GAP)을 제안하며, 메시지 전달 집계에 직접 노이즈를 추가함으로써 엣지 수준 및 노드 수준의 비밀보장을 동시에 달성한다. 이는 훈련 및 추론 과정에서 비밀보장이 보장되며, 비밀보장 예산 이외의 추가 비용 없이 다중 홉 주변 정보 학습을 가능하게 하여 최신의 DP-GNN보다 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we study the problem of learning Graph Neural Networks (GNNs) with Differential Privacy (DP). We propose a novel differentially private GNN based on Aggregation Perturbation (GAP), which adds stochastic noise to the GNN's aggregation function to statistically obfuscate the presence of a single edge (edge-level privacy) or a single node and all its adjacent edges (node-level privacy). Tailored to the specifics of private learning, GAP's new architecture is composed of three separate modules: (i) the encoder module, where we learn private node embeddings without relying on the edge information; (ii) the aggregation module, where we compute noisy aggregated node embeddings based on the graph structure; and (iii) the classification module, where we train a neural network on the private aggregations for node classification without further querying the graph edges. GAP's major advantage over previous approaches is that it can benefit from multi-hop neighborhood aggregations, and guarantees both edge-level and node-level DP not only for training, but also at inference with no additional costs beyond the training's privacy budget. We analyze GAP's formal privacy guarantees using Rényi DP and conduct empirical experiments over three real-world graph datasets. We demonstrate that GAP offers significantly better accuracy-privacy trade-offs than state-of-the-art DP-GNN approaches and naive MLP-based baselines. Our code is publicly available at https://github.com/sisaman/GAP.

연구 동기 및 목표

• 감정적인 그래프 구조를 GNN에서 보호하는 데 도전하는 문제를 해결하기 위해, 특히 차등적 비밀보장(DP) 환경에서의 보호를 목표로 한다.
• 모델 쿼리가 주변 집계를 통해 정보 泄露될 수 있는 GNN에서 훈련 및 추론 비밀보장을 보장하기 위해 노력한다.
• 다중 홉 집계를 통해 높은 표현 능력을 유지하면서도 공식적인 DP 보장을 충족하는 GNN 아키텍처를 설계한다.
• 표준 DP 방법(예: DP-SGD)이 구조적 데이터 상호의존성으로 인해 GNN에서는 실패하는 한계를 극복한다.

제안 방법

• GAP는 세 모듈 아키텍처를 도입한다: 엣지 정보를 사용하지 않고 비밀보장된 노드 임베딩을 학습하는 인코더.
• 집계 모듈은 노드 임베딩의 노이즈가 첨가된 집계에 대해 가우시안 메커니즘을 적용하여, 집계 함수의 민감도에 따라 엣지 수준 또는 노드 수준의 DP 보장을 보장한다.
• 분류 모듈은 원본 그래프 구조에 접근하지 않고 비밀보장된 집계에 기반해 신경망을 훈련시켜 비밀보장을 유지한다.
• 노드 수준의 비밀보장을 위해 민감도를 제어하고 노이즈 영향을 줄이기 위해 도수 한계 $ D $ 가 도입된다.
• 형식적인 비밀보장 분석을 위해 레니 지수 DP를 사용하여 다중 레이어에 걸쳐 더 날카운 비밀보장 계산이 가능하다.
• 예측이 원시 그래프 데이터가 아닌 비밀보장된 집계에만 의존하도록 하여 추론 시에도 비밀보장을 유지하도록 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 훈련 및 추론 과정에서 엣지 수준 및 노드 수준의 차등적 비밀보장을 동시에 보장할 수 있는 GNN 아키텍처를 설계할 수 있는가?
• RQ2 차등적 비밀보장 GNN에서 다중 홉 주변 정보를 비밀보장이 훼손되지 않도록 효과적으로 활용할 수 있는가?
• RQ3 다양한 차등적 비밀보장 GNN에서 홉 수 $ K $ 가 비밀보장-정확도 균형에 미치는 영향은 무엇인가?
• RQ4 도수 한계 $ D $ 의 선택이 다양한 비밀보장 예산에서 노드 수준의 비밀보장 GNN 성능에 미치는 영향은 무엇인가?
• RQ5 집계 편향 기반 방법이 실제 그래프 데이터 세트에서 기존의 DP-GNN 방법보다 정확도-비밀보장 균형 측면에서 뛰어나게 성능을 낼 수 있는가?

주요 결과

• GAP는 세 개의 실제 그래프 데이터 세트에서 최신 DP-GNN 접근법과 단순 MLP 기반 모델보다 유의미하게 뛰어난 정확도-비밀보장 균형을 달성한다.
• 모델의 정확도는 홉 수 $ K $ 가 증가함에 따라 특정 지점까지 향상되며, 낮은 비밀보장 예산에서는 노이즈로 인해 작은 $ K $ 에서 정점에 도달하고, 더 높은 예산에서는 더 큰 $ K $ 를 통해 성능 향상을 얻는다.
• 노드 수준의 비밀보장에서는 도수 한계 $ D $ 가 증가함에 따라 정확도가 최적점까지 증가하지만, 이후 민감도 증가로 인한 노이즈로 성능이 저하된다.
• Reddit에서는 $ D $ 가 증가함에 따라 정확도가 계속 증가하지만, Facebook와 Amazon에서는 정점에 도달한 후 감소하는 경향을 보이며, 정보 유지와 노이즈 주입 사이의 균형을 반영한다.
• 비밀보장 예산은 강력한 영향을 미친다: 더 높은 $ \epsilon $ 값은 더 큰 $ K $ 와 $ D $ 를 허용하여 성능 향상을 이끈다.
• 이 방법은 추가 오버헤드 없이도 종단 간 비밀보장을 보장한다 — 훈련 및 추론 모두 차등적 비밀보장이 보장되며, 초기 비밀보장 예산 할당 외에 추가 비용이 없다.