[논문 리뷰] Differentially Private Graph Classification with GNNs

Tamara T. Mueller, Johannes C. Paetzold외 4명|arXiv (Cornell University)|2022. 02. 05.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 의료 기록과 같은 민감한 그래프 구조 데이터에 대해 공식적인 프라이버시 보장을 제공하는 DP-SGD를 사용하여 그래프 수준 분류를 위한 차별적 프라이버시 보장 그래프 신경망(GNN) 훈련을 제안한다. DP-GNN이 비공식 모델과 유사한 표현을 유지하면서도 높은 유틸리티를 보이며, 프라이버시 예산 ε에 의해 제어되는 측정 가능한 프라이버시-정확도 트레이드오프를 보인다.

ABSTRACT

Graph Neural Networks (GNNs) have established themselves as the state-of-the-art models for many machine learning applications such as the analysis of social networks, protein interactions and molecules. Several among these datasets contain privacy-sensitive data. Machine learning with differential privacy is a promising technique to allow deriving insight from sensitive data while offering formal guarantees of privacy protection. However, the differentially private training of GNNs has so far remained under-explored due to the challenges presented by the intrinsic structural connectivity of graphs. In this work, we introduce differential privacy for graph-level classification, one of the key applications of machine learning on graphs. Our method is applicable to deep learning on multi-graph datasets and relies on differentially private stochastic gradient descent (DP-SGD). We show results on a variety of synthetic and public datasets and evaluate the impact of different GNN architectures and training hyperparameters on model performance for differentially private graph classification. Finally, we apply explainability techniques to assess whether similar representations are learned in the private and non-private settings and establish robust baselines for future work in this area.

연구 동기 및 목표

• 그래프 기계학습에서 공식적인 프라이버시 보호의 부재, 특히 민감한 의료 및 생물학적 데이터에 대해 해결하고자 한다.
• 그래프 수준 분류를 위한 그래프 신경망에 대해 차별적 프라이버시 보장 확률적 경사 하강법(DP-SGD)을 적응시키고자 한다.
• 차별적 프라이버시 하에서 GNN 아키텍처와 하이퍼파라미터의 선택이 성능에 미치는 영향을 평가하고자 한다.
• 해석 가능성 기법을 사용하여 프라이버시 보장 모델이 비공식 모델과 유사하고 의미 있는 표현을 학습하는지 평가하고자 한다.
• 향후 프라이버시 보장 그래프 학습 분야의 연구를 위한 견고한 베이스라인을 수립하고자 한다.

제안 방법

• 다양한 그래프 데이터셋에서 DP-SGD를 적용하여 GNN을 훈련시키며, 기울기 클리핑과 가우시안 노이즈 주입을 수행한다.
• 입력 데이터(예: 지문 이미지, 심전도 신호)를 그래프 구축 방법을 사용하여 그래프 표현으로 변환한다.
• 표준 GNN 아키텍처(GCN, GraphSAGE, GAT)를 사용하여 그래프 수준 분류 작업을 수행한다.
• GNNExplainer 기법을 적용하여 비공식 모델과 차별적 프라이버시 보장 모델 간의 엣지 수준 중요도를 비교한다.
• 해당 엣지에 대한 교차율(IoU) 점수를 사용하여 표현 유사도를 정량화한다.
• 다양한 합성 및 실세계 데이터셋에서 프라이버시 예산 ε의 변화에 따라 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 DP-SGD가 그래프 분류를 위한 GNN 훈련에 효과적으로 적용되어 모델 유틸리티를 유지할 수 있는가?
• RQ2 GNN 아키텍처의 선택이 차별적 프라이버시 하에서 성능에 어떤 영향을 미치는가?
• RQ3 차별적 프라이버시 보장 GNN이 비공식 모델과 얼마나 유사한 표현을 학습하는가?
• RQ4 프라이버시 예산 ε가 프라이버시와 모델 정확도 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 차별적 프라이버시가 GNN의 해석 가능성과 엣지 수준의 주의 메커니즘에 어떤 영향을 미치는가?

주요 결과

• DP-GNN은 벤치마크 및 실세계 데이터셋에서 높은 유틸리티를 달성하며, ε가 감소함에 따라 명확한 프라이버시-정확도 트레이드오프를 보인다.
• ε = 0.5로 훈련된 모델는 비공식 기준 모델에 비해 정확도가 약간 떨어지며, 엄격한 프라이버시 제약 조건 하에서도 강력한 성능을 보임을 시사한다.
• GNNExplainer는 프라이버시 보장 모델과 비공식 모델이 엣지 수준 표현을 매우 유사하게 학습하고 있음을 드러내며, ε = 0.5일 때도 IoU 점수가 높게 유지된다.
• 더 강한 프라이버시(낮은 ε) 조건에서는 IoU 점수가 약간 감소하여 과도한 노이즈가 표현 학습을 방해함을 나타낸다.
• 결과는 DP-GNN이 강력한 인덕티브 바이어스를 유지하며, 의료 그래프 분석과 같은 프라이버시 민감한 응용 분야에 적합하다는 것을 보여준다.
• 본 연구는 특히 의료 및 생물학적 데이터 환경에서 차별적 프라이버시 보장 그래프 학습 분야의 향후 연구를 위한 견고한 기반을 마련한다.