[논문 리뷰] DPAR: Decoupled Graph Neural Networks with Node-Level Differential Privacy

Qiuchen Zhang, H. Lee외 4명|arXiv (Cornell University)|2022. 10. 10.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 서로 다른 노드 간의 상관관계로 인한 높은 민감도 문제를 해결하기 위해 메시지 전파와 특성 집합을 별도로 처리하는 차별적 개인 정보 보호 기반 개인화 페이지랭크(DP-APPR)를 사용하여, 노드 수준의 차별적 개인 정보 보호를 엄격하게 확보하는 GNN 학습을 위한 새로운 프레임워크 DPAR를 제안한다. 이 프레임워크는 DP-APPR와 차별적 개인 정보 보장 확보 경사 하강법(DP-SGD)을 결합하여 노드 특성과 그래프 구조를 동시에 보호하며, 실제 데이터셋에서 높은 모델 유틸리티를 유지하면서도 강력한 개인 정보 보호 보장을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved great success in learning with graph-structured data. Privacy concerns have also been raised for the trained models which could expose the sensitive information of graphs including both node features and the structure information. In this paper, we aim to achieve node-level differential privacy (DP) for training GNNs so that a node and its edges are protected. Node DP is inherently difficult for GNNs because all direct and multi-hop neighbors participate in the calculation of gradients for each node via layer-wise message passing and there is no bound on how many direct and multi-hop neighbors a node can have, so existing DP methods will result in high privacy cost or poor utility due to high node sensitivity. We propose a Decoupled GNN with Differentially Private Approximate Personalized PageRank (DPAR) for training GNNs with an enhanced privacy-utility tradeoff. The key idea is to decouple the feature projection and message passing via a DP PageRank algorithm which learns the structure information and uses the top-$K$ neighbors determined by the PageRank for feature aggregation. By capturing the most important neighbors for each node and avoiding the layer-wise message passing, it bounds the node sensitivity and achieves improved privacy-utility tradeoff compared to layer-wise perturbation based methods. We theoretically analyze the node DP guarantee for the two processes combined together and empirically demonstrate better utilities of DPAR with the same level of node DP compared with state-of-the-art methods.

연구 동기 및 목표

• 학습된 모델이 노드 특성과 간선에서 민감한 정보를 泄露할 수 있는 GNN에서의 핵심 개인 정보 위험을 해결하기 위해.
• 노드 특성과 그에 연결된 간선을 동시에 보호하는 GNN에 대해 노드 수준의 차별적 개인 정보 보호를 공식적으로 수립하기 위해.
• 노드 간 상관관계로 인해 GNN에서 민감도가 높아지는 문제로 인해 기존 DP 방법의 성능이 저하되는 문제를 극복하기 위해.
• 메시지 전파와 특성 집합을 분리하여 효과적인 DP 적용이 가능한 이중 단계 학습 프레임워크를 설계하기 위해.
• 엄격한 노드 수준의 DP 보장을 받는 조건에서 GNN 학습에서 높은 개인 정보-유틸리티 트레이드오프를 달성하기 위해.

제안 방법

• GNN 학습 과정을 두 단계로 분리: 개인화 페이지랭크(APPR)를 통한 메시지 전파와 DP-SGD를 활용한 특성 집합.
• 그래프 구조 정보를 보호하기 위해 가우스 메커니즘과 지수 메커니즘을 사용한 차별적 개인 정보 보장 APPR 알고리즘 제안.
• 노드 특성을 보호하기 위해 특성 집합 단계에 DP-SGD를 적용하고, 기울기 클리핑과 노이즈 주입을 수행.
• DP-APPR에서 클리핑 바운드를 사용하여 민감도를 제어하고 APPR 벡터 내의 불필요한 노이즈를 감소.
• DP-APPR과 DP-SGD를 통합된 프레임워크로 통합하여 종단 간 노드 수준의 차별적 개인 정보 보장을 보장.
• DP-APPR 결과에 의존하는 샘플링 과정에서의 개인 정보 유출 증가를 분석하고, DPGNN 알고리즘에서 이를 완화.

실험 결과

연구 질문

• RQ1 노드 특성과 그에 연결된 간선을 모두 보호하는 엄격한 노드 수준의 차별적 개인 정보 보장을 GNN에 적용할 수 있는가?
• RQ2 메시지 전파와 특성 집합을 분리함으로써 민감도를 감소시키고 GNN에서 효과적인 DP 적용을 가능하게 하기 위한 방법은 무엇인가?
• RQ3 실제 그래프에서 DP-APPR과 DP-SGD를 GNN 학습에 적용할 경우 개인 정보-유틸리티 트레이드오프는 어떻게 되는가?
• RQ4 DP-APPR과 DP-SGD에서 클리핑 바운드의 선택이 모델 유틸리티와 개인 정보 보호 보장에 미치는 영향는 어떠한가?
• RQ5 하류 작업 성능을 훼손하지 않으면서 공식적인 노드 수준의 DP를 달성할 수 있는 프레임워크를 설계할 수 있는가?

주요 결과

• 제안된 DPAR 프레임워크는 GNN에서 노드 특성과 그에 연결된 간선을 모두 보호함으로써 강력한 노드 수준의 차별적 개인 정보 보장을 달성한다.
• DP-APPR은 노드 간 상관관계를 해소하고 민감도를 제한하여 DP-SGD의 유효한 적용을 가능하게 하며, 높은 유틸리티를 유지한다.
• 실제 데이터셋에서의 실험 결과, DPAR는 엄격한 개인 정보 예산 조건에서도 높은 모델 정확도를 유지하며 유리한 개인 정보-유틸리티 트레이드오프를 보여준다.
• DP-APPR에서 클리핑 바운드(0.01 및 0.001로 설정)를 사용함으로써 불필요한 노이즈를 감소시키고 모델 성능을 향상시켰다.
• 기울기 노름 클리핑 바운드가 1인 DP-SGD는 안정적인 최적화와 효과적인 개인 정보 보호를 달성했다.
• 이 프레임워크는 노드 특성과 간선을 모두 포함하는 노드 수준의 DP를 공식적으로 달성한 최초의 프레임워크로, 개인 정보 보장 GNN 학습의 새로운 기준을 설정했다.