[논문 리뷰] Differentially Private Decoupled Graph Convolutions for Multigranular Topology Protection

Eli Chien, Weining Chen외 4명|arXiv (Cornell University)|2023. 07. 12.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 그래프 신경망(GNNs)에서 다중 granularity의 토폴로지 프라이버시를 위한 새로운 프레임워크인 이방성적으로 비밀스러운 분리된 그래프 컨볼루션(DPDGC)을 제안한다. 노드 특징과 토폴로지 집계를 분리하고 k-neighbor 수준의 인접성 개념을 도입함으로써, 표준 DP-GNNs에 비해 더 우수한 프라이버시-유용성 트레이드오프를 달성한다. 특히 그래프 구조와 노드 속성에 대해 다양한 프라이버시 요구사항이 존재할 경우에 유리하다.

ABSTRACT

GNNs can inadvertently expose sensitive user information and interactions through their model predictions. To address these privacy concerns, Differential Privacy (DP) protocols are employed to control the trade-off between provable privacy protection and model utility. Applying standard DP approaches to GNNs directly is not advisable due to two main reasons. First, the prediction of node labels, which relies on neighboring node attributes through graph convolutions, can lead to privacy leakage. Second, in practical applications, the privacy requirements for node attributes and graph topology may differ. In the latter setting, existing DP-GNN models fail to provide multigranular trade-offs between graph topology privacy, node attribute privacy, and GNN utility. To address both limitations, we propose a new framework termed Graph Differential Privacy (GDP), specifically tailored to graph learning. GDP ensures both provably private model parameters as well as private predictions. Additionally, we describe a novel unified notion of graph dataset adjacency to analyze the properties of GDP for different levels of graph topology privacy. Our findings reveal that DP-GNNs, which rely on graph convolutions, not only fail to meet the requirements for multigranular graph topology privacy but also necessitate the injection of DP noise that scales at least linearly with the maximum node degree. In contrast, our proposed Differentially Private Decoupled Graph Convolutions (DPDGCs) represent a more flexible and efficient alternative to graph convolutions that still provides the necessary guarantees of GDP. To validate our approach, we conducted extensive experiments on seven node classification benchmarking and illustrative synthetic datasets. The results demonstrate that DPDGCs significantly outperform existing DP-GNNs in terms of privacy-utility trade-offs.

연구 동기 및 목표

• 기존 DP-GNNs에서 노드 속성과 그래프 토폴로지가 서로 다른 프라이버시 수준을 요구할 수 있음에도 불구하고, 다중 granularity의 프라이버시 보호가 부족한 문제를 해결한다.
• 유연하고 세밀한 제어가 가능한 토폴로지 프라이버시를 가능하게 하는 새로운 그래프 데이터셋 인접성 개념—k-neighbor 수준의 인접성—을 정식화한다.
• 모델 파라미터와 노드 예측이 모두 이방성적으로 비밀스러운 것을 보장하기 위해 그래프 이방성 프라이버시(GDP)를 제안한다.
• 표준 그래프 컨볼루션의 한계를 극복하여, 다중 granularity의 프라이버시를 지원하지 못하고 최대 노드 차수에 비례해 노이즈가 증가하는 문제를 해결한다.
• 이방성 프라이버시 제약 하에 표준 GNNs보다 더 효율적이고 프라이버시가 보장되는 대안으로 DPDGC를 설계하고 평가한다.

제안 방법

• 엣지 및 노드 수준의 인접성 개념을 일반화하는 통합된 k-neighbor 수준의 인접성 정의를 도입하여, 다중 granularity의 토폴로지 프라이버시를 가능하게 한다.
• 모델 가중치와 노드 예측 모두에 대해 이방성 프라이버시를 공식적으로 보장하기 위해 그래프 이방성 프라이버시(GDP)를 제안한다.
• 그래프 컨볼루션을 두 단계로 분리한다: (1) 노드 특징 집계, (2) 토폴로지 인식 메시지 전파. 이로써 구조적 정보로부터의 프라이버시 누출을 감소시킨다.
• k-neighbor 수준의 인접성에 기반해 노이즈를 조정하여, 노이즈가 노드 차수에 비례해 선형적으로 증가하지 않도록 한다.
• 최종 예측을 위해 노드 임베딩과 특징을 연결하는 DPDGC 모델을 설계하여, 프라이버시를 유지하면서도 유용성을 보존한다.
• 모델 파라미터와 노드 예측의 프라이버시를 동시에 고려한 통합 GDP 분석 프레임워크를 사용해, 다양한 granularity에서의 속성 및 토폴로지 프라이버시에 대한 프라이버시 한계를 유도한다.

Figure 1: Top: (a) Illustration of a training graph dataset. In the example, the graph involves $6$ nodes and does not contain self-loops. Nodes $5$ and $6$ are left unlabeled in the training dataset $\mathcal{D}$ . (b) An illustration of our novel notion of $k$ -neighbor-level graph dataset adjacen

실험 결과

연구 질문

• RQ1 통합된 그래프 데이터셋 인접성 개념이 GNNs에서 노드 속성과 그래프 토폴로지 양쪽에 대해 다중 granularity의 프라이버시 보호를 지원할 수 있는가?
• RQ2 표준 그래프 컨볼루션은 이방성 프라이버시 하에서 민감한 프라이버시-유용성 트레이드오프를 유연하게 지원하지 못하는가?
• RQ3 분리된 그래프 컨볼루션은 동일한 프라이버시 예산 하에서 표준 GNNs에 비해 노이즈 요구량을 줄일 수 있는가?
• RQ4 k-neighbor 수준의 인접성 파라미터가 그래프 학습에서 프라이버시-유용성 트레이드오프에 미치는 영향은 무엇인가?
• RQ5 제안된 DPDGC 프레임워크는 다양한 벤치마크에서 기존 DP-GNNs에 비해 정확도와 프라이버시 보장을 모두 뛰어나게 성능을 내는가?

주요 결과

• 표준 DP-GNNs는 그래프 컨볼루션 기반으로 다중 granularity의 토폴로지 프라이버시를 지원하지 못하고, 최대 노드 차수에 비례해 DP 노이즈가 증가한다.
• 제안된 k-neighbor 수준의 인접성은 토폴로지 프라이버시에 대해 민감하고 유연한 제어가 가능하게 하며, 프라이버시 강도와 모델 유용성 간의 트레이드오프를 가능하게 한다.
• DPDGC는 일곱 개의 노드 분류 벤치마크에서 최고 성능을 기록했으며, Cora에서 엣지-GDP 하에 ε=1일 때 GAP과 DP-MLP에 비해 최대 11.3% 높은 정확도를 달성했다.
• Facebook 데이터셋에서는 강력한 프라이버시 제약 조건 하에서도 높은 유용성을 유지했으며, 엣지-GDP 하에 ε=1일 때 88.59%의 정확도를 기록했고, 이는 RandEdge+SAGE(46.42%)와 DP-SAGE(31.41%)를 크게 앞서는 성능이었다.
• cSBM 합성 실험에서는 그래프 구조가 정보를 많이 담고 있을 경우(|ϕ|가 크면), DPDGC가 DP-MLP를 능가했으며, 이는 토폴로지를 효과적으로 활용하면서도 프라이버시를 보존할 수 있음을 보여준다.
• 모든 평가 설정에서 유사한 프라이버시 예산 하에 DPDGC 모델이 가장 높은 정확도를 기록하여, 프라이버시와 유용성의 균형을 효과적으로 유지하는 데서의 효율성과 효과성을 확인했다.

Figure 2: Illustration of the GAP and DPDGC (top) architectures and their corresponding information flow (bottom). Green modules indicate DP-MLPs trained with a DP-optimizer [ 14 ] . Blue modules are non-trainable modules. We use red frames to point to designs with DP guarantees (i.e., DP-Emb and PM