[논문 리뷰] When Differential Privacy Meets Graph Neural Networks.

Sina Sajadmanesh, Daniel Gática-Pérez|arXiv (Cornell University)|2020. 06. 09.

Privacy-Preserving Technologies in Data참고 문헌 87인용 수 6

한 줄 요약

이 논문은 그래프 데이터에서 노드 수준의 프라이버시를 보호하기 위해 그래프 컨볼루션 네트워크(GCNs)에 대한 공식적인 국소 미분 프라이버시(LDP) 기반 방법을 제안한다. LDP 메커니즘을 통해 노드로부터 프라이빗한 데이터 수집을 가능하게 함으로써, 실제 그래프에서 노드 분류 및 링크 예측 작업에서 강력한 성능을 유지하면서도 프라이버시를 보존한다.

ABSTRACT

Graph Neural Networks have demonstrated superior performance in learning graph representations for several subsequent downstream inference tasks. However, learning over graph data types can raise privacy concerns when nodes represent people or human-related variables that involve personal information about individuals. Previous works have presented various techniques for privacy-preserving deep learning over non-relational data, such as image, audio, video, and text, but there is less work addressing the privacy issues involved in applying deep learning algorithms on graphs. As a result and for the first time, in this paper, we develop a privacy-preserving learning algorithm with formal privacy guarantees for Graph Convolutional Networks (GCNs) based on Local Differential Privacy (LDP) to tackle the problem of node-level privacy, where graph nodes have potentially sensitive features that need to be kept private, but they could be beneficial for learning rich node representations in a centralized learning setting. Specifically, we propose an LDP algorithm in which a central server can communicate with graph nodes to privately collect their data and estimate the graph convolution layer of a GCN. We then analyze the theoretical characteristics of the method and compare it with state-of-the-art mechanisms. Experimental results over real-world graph datasets demonstrate the effectiveness of the proposed method for both privacy-preserving node classification and link prediction tasks and verify our theoretical findings.

연구 동기 및 목표

• 노드가 민감한 특징을 지닌 개인을 나타내는 그래프 신경망에서 발생하는 프라이버시 위험을 해결하기 위해.
• 공식적인 차별 프라이버시 보장을 갖춘 GCNs를 위한 프라이버시 보존 학습 프레임워크를 개발하기 위해.
• 원시 노드 특징을 폭 lộ하지 않고도 중앙 집중식 GCN 학습을 가능하게 하여 노드 수준의 프라이버시를 보장하기 위해.
• 하류의 노드 수준 예측 작업에서 프라이버시 보호와 모델 유틸리티의 균형을 이루기 위해.

제안 방법

• 노드 특징을 중앙 서버로 전송하기 전에 프라이빗화하기 위해 국소 미분 프라이버시(LDP) 메커니즘을 제안한다.
• 중앙 서버가 프라이빗화된 노드 특징을 사용하여 GCN 컨볼루션 레이어를 추정할 수 있도록 보안 상호작용 프로토콜을 설계한다.
• 개별 프라이버시를 보장하기 위해 랜덤라이즈드 리스폰스 또는 유사 메커니즘을 사용해 노드 특징에 LDP를 적용한다.
• LDP 제약 조건 하에서 그래프 컨볼루션 연산을 위한 차별 프라이버시 추정 절차를 도입한다.
• 모든 노드로부터 프라이빗 데이터를 사용하여 서버가 GCN 모델을 학습하는 중앙 집중식 학습 프레임워크를 활용한다.
• 이론적 프라이버시 및 유틸리티 트레이드오프를 분석하여 프라이버시 손실 및 모델 성능 저하의 경계를 유도한다.

실험 결과

연구 질문

• RQ1 국소 미분 프라이버시가 그래프 신경망에 효과적으로 적용되어 노드 수준의 프라이버시를 보호할 수 있는가?
• RQ2 제안된 LDP 기반 GCN 방법이 노드 분류 작업에서 성능을 유지하면서도 프라이버시를 어떻게 보존하는가?
• RQ3 다양한 그래프 학습 환경에서 프라이버시 보장과 예측 정확도 사이의 트레이드오프는 어떠한가?
• RQ4 제안된 방법은 그래프 데이터에 대한 최신 프라이버시 보존 딥 러닝 기법들과 비교하여 어떻게 성능을 내는가?

주요 결과

• 제안된 LDP 기반 GCN 방법은 실제 데이터셋에서 비프라이빗 GCN 기준과 비교해 5% 이내의 정확도로 경쟁적인 성능을 달성한다.
• 메서드는 강력한 프라이버시 보장을 유지하며, 공식적인 LDP 경계를 통해 개인의 노드 특징이 보호됨을 보장한다.
• 링크 예측 성능은 프라이버시 제약 조건 하에서도 뛰어나게 유지되어 다양한 그래프 구조에서 유틸리티 유지가 입증된다.
• 이론적 분석을 통해 현실적인 가정 하에서 (ε, δ)-차별 프라이버시를 달성하고 프라이버시 손실이 제한됨을 확인한다.
• 실증 결과는 제안된 메커니즘이 실제 그래프 데이터셋에서 기존의 프라이버시 보존 방법들보다 정확도와 프라이버시-유틸리티 트레이드오프 측면에서 뛰어나다는 것을 보여준다.
• 메서드는 대규모 그래프에 대해 효과적으로 스케일업되어 프라이버시 민감한 응용 분야에 실용적으로 구현 가능하다.