[논문 리뷰] Degree-Preserving Randomized Response for Graph Neural Networks under Local Differential Privacy

Seira Hidano, Takao Murakami|arXiv (Cornell University)|2022. 02. 21.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 그래프 신경망을 위한 새로운 국소적 차별적 프라이버시(LDP) 메커니즘인 차수 보존 무작위 응답(DPRR)을 제안한다. 이 메커니즘은 소속되지 않은 그래프에서 간선에 대해 강력한 프라이버시를 보장하면서 각 노드의 차수를 유지한다. 워너의 무작위 응답과 라플라스 기반 차수 추정, 적응형 간선 샘플링을 결합함으로써, ε=1일 때 비공개 모델에 근접한 그래프 분류 정확도를 달성하며, 정확도와 효율성 면에서 기존 기준보다 뛰어나다.

ABSTRACT

Differentially private GNNs (Graph Neural Networks) have been recently studied to provide high accuracy in various tasks on graph data while strongly protecting user privacy. In particular, a recent study proposes an algorithm to protect each user's feature vector in an attributed graph, which includes feature vectors along with node IDs and edges, with LDP (Local Differential Privacy), a strong privacy notion without a trusted third party. However, this algorithm does not protect edges (friendships) in a social graph, hence cannot protect user privacy in unattributed graphs, which include only node IDs and edges. How to provide strong privacy with high accuracy in unattributed graphs remains open. In this paper, we propose a novel LDP algorithm called the DPRR (Degree-Preserving Randomized Response) to provide LDP for edges in GNNs. Our DPRR preserves each user's degree hence a graph structure while providing edge LDP. Technically, our DPRR uses Warner's RR (Randomized Response) and strategic edge sampling, where each user's sampling probability is automatically tuned using the Laplacian mechanism to preserve the degree information under edge LDP. We also propose a privacy budget allocation method to make the noise in both Warner's RR and the Laplacian mechanism small. We focus on graph classification as a task of GNNs and evaluate the DPRR using three social graph datasets. Our experimental results show that the DPRR significantly outperforms three baselines and provides accuracy close to a non-private algorithm in all datasets with a reasonable privacy budget, e.g., epsilon=1. Finally, we introduce data poisoning attacks to our DPRR and a defense against the attacks. We evaluate them using the three social graph datasets and discuss the experimental results.

연구 동기 및 목표

• 국소적 차별적 프라이버시(LDP) 하에서 소속되지 않은 그래프에서 간선에 대한 강력한 프라이버시 보호의 부족을 해결하기 위해.
• 특히 그래프 신경망(GNNs)에서 노드의 차수를 포함한 그래프 구조적 특성을 유지하면서 간선에 대한 LDP를 보장하기 위해.
• 기존 기준보다 정확도와 효율성 면에서 뛰어나며, 그래프 분류 작업에서 효과적인 LDP 메커니즘을 개발하기 위해.
• 신뢰할 수 있는 제3자가 존재하지 않는 탈중앙화된 소셜 네트워크에서 LDP의 실용적 구현을 가능하게 하기 위해.

제안 방법

• DPRR를 제안한다: 두 단계로 구성된 LDP 메커니즘. 첫 번째 단계는 라플라스 기반 메커니즘을 사용해 각 노드의 진짜 차수에 노이즈를 추가하는 것으로, 두 번째 단계는 노이즈가 추가된 차수를 기반으로 워너의 무작위 응답의 샘플링 확률을 조정하는 것이다.
• 최종 간선 샘플링 단계에서 후처리 불변성을 적용하여 전체 LDP 보장을 유지한다.
• LDP의 순차적 복합 적용: 라플라스 기반 메커니즘이 ε₁-간선 LDP를 제공하고, 워너의 RR이 ε₂-간선 LDP를 제공함으로써 총 (ε₁+ε₂)-간선 LDP를 달성한다.
• 차수 추정 및 간선 뒤집기 구성 요소에서 노이즈를 최소화하기 위해 프라이버시 예산 할당 전략을 도입한다.
• 각 사용자가 노이즈가 추가된 차수에 비례하는 확률로 이웃을 샘플링하는 적응형 간선 샘플링을 적용하여 구조적 정보를 유지한다.
• 기존의 특성 벡터 기반 LDP 방법과 결합하여 소속된 그래프에서 간선과 속성을 동시에 보호할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 국소적 차별적 프라이버시 하에서 소속되지 않은 그래프에서 간선을 보호하면서 노드의 차수를 유지하는 LDP 메커니즘을 설계할 수 있는가?
• RQ2 작은 프라이버시 예산(예: ε=1)으로도 강력한 프라이버시 보장을 유지하면서 GNN에서 높은 분류 정확도를 달성할 수 있는가?
• RQ3 DPRR은 기존의 LDP 기준인 무작위 응답(RR)과 LocalLap보다 그래프 분류 작업에서 더 효율적이고 정확한가?
• RQ4 노드의 차수를 유지하는 것이 구조적 정보를 왜곡하는 방법보다 더 나은 모델 성능을 이끌어내는가?

주요 결과

• DPRR는 세 가지 소셜 그래프 데이터셋 전반에서 ε=1일 때 비공개 기준 모델에 비해 정확도가 2.5% 이내로 유지된다.
• DPRR는 RR, LocalLap, NonPriv-Part 세 가지 기준보다 분류 정확도 면에서 뚜렷이 뛰어나며, 특히 커스터마이징 설정에서 두드러진 성능을 보인다.
• 40,000개의 노드와 평균 노드당 5개의 간선을 가진 그래프에서 DPRR의 학습 시간은 약 4시간이며, RR 기준은 약 21일이다.
• DPRR는 높은 정밀도로 노드의 차수를 유지하지만, RR과 LocalLap은 차수 분포를 왜곡하여 성능 격차가 발생한다.
• 소속되지 않은 그래프에서 GNN 성능에 있어 차수 분포가 핵심적이며, DPRR는 이 분포를 효과적으로 유지한다.
• DPRR는 매우 효율적이며, RR보다 메모리와 시간을 크게 절약하여 대규모 탈중앙화된 SNS에 실용적으로 적용 가능하다.