[논문 리뷰] LinkTeller: Recovering Private Edges from Graph Neural Networks via Influence Analysis

Fan Wu, Yunhui Long외 2명|arXiv (Cornell University)|2021. 08. 14.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

LinkTeller는 모델 영향을 분석함으로써 악성 쿼리를 통해 그래프 신경망(GNN)의 비공개 엣지를 복원하는 프라이버시 공격을 제안한다. 심지어 차별적 프라이버시(ε > 5)가 적용된 경우에도 GNN은 엣지 복원 공격에 취약하며, 수직 분할된 그래프 학습 환경에서 심각한 프라이버시 泄露가 발생함을 보여준다.

ABSTRACT

Graph structured data have enabled several successful applications such as recommendation systems and traffic prediction, given the rich node features and edges information. However, these high-dimensional features and high-order adjacency information are usually heterogeneous and held by different data holders in practice. Given such vertical data partition (e.g., one data holder will only own either the node features or edge information), different data holders have to develop efficient joint training protocols rather than directly transfer data to each other due to privacy concerns. In this paper, we focus on the edge privacy, and consider a training scenario where Bob with node features will first send training node features to Alice who owns the adjacency information. Alice will then train a graph neural network (GNN) with the joint information and release an inference API. During inference, Bob is able to provide test node features and query the API to obtain the predictions for test nodes. Under this setting, we first propose a privacy attack LinkTeller via influence analysis to infer the private edge information held by Alice via designing adversarial queries for Bob. We then empirically show that LinkTeller is able to recover a significant amount of private edges, outperforming existing baselines. To further evaluate the privacy leakage, we adapt an existing algorithm for differentially private graph convolutional network (DP GCN) training and propose a new DP GCN mechanism LapGraph. We show that these DP GCN mechanisms are not always resilient against LinkTeller empirically under mild privacy guarantees ($\varepsilon>5$). Our studies will shed light on future research towards designing more resilient privacy-preserving GCN models; in the meantime, provide an in-depth understanding of the tradeoff between GCN model utility and robustness against potential privacy attacks.

연구 동기 및 목표

• 노드 특성과 인접 정보가 서로 다른 당사자에게 분할 보관되는 수직 분할 데이터 설정에서 GNN이 학습된 환경에서 엣지 프라이버시 泄露 위험을 조사하는 것.
• 악성 테스트 쿼리를 이용한 영향 분석을 통해 비공개 엣지를 복원하는 새로운 프라이버시 공격인 LinkTeller를 개발하는 것.
• 다양한 프라이버시 예산 하에서 제안된 공격에 대한 차별적 프라이버시 GNN(DP-GCN)의 내공을 평가하는 것.
• 프라이버시 보장 GNN에서 모델 유틸리티와 엣지 복원 공격에 대한 저항성 간의 트레이드오프를 폭 드러내는 것.

제안 방법

• LinkTeller는 노드 특성을 변형시켜 모델 예측에 가장 큰 영향을 미치는 악성 테스트 쿼리를 구성함으로써, 비공개 엣지 구조를 추론할 수 있도록 한다.
• 모델의 출력에 대해 각 훈련 엣지가 기여하는 정도를 추정하기 위해 영향 함수 분석을 사용한다.
• 공격은 영향 점수에 따라 엣지를 순위 매기며, 높은 영향 점수를 가진 엣지를 실제 비공개 연결으로 복원한다.
• 이 방법은 다양한 그래프 밀도와 희소성 수준을 가진 8개의 인덕티브 및 3개의 트랜스덕티브 그래프 데이터셋에서 평가된다.
• 저자들은 기존의 DP-GCN 메커니즘을 변형하고, 새로운 라플라시안 기반 DP-GCN(LapGraph)을 제안하여 프라이버시-유틸리티 트레이드오프를 평가한다.
• 실증 평가에서는 LinkTeller의 성능을 베이스라인과 비교하여, 다양한 ε 값에서 복원된 엣지의 정밀도와 재현율을 측정한다.

실험 결과

연구 질문

• RQ1 악성 테스트 쿼리에서의 영향을 분석함으로써, 공격자가 GNN 모델에서 비공개 엣지를 추론할 수 있는가?
• RQ2 LinkTeller는 다양한 인덕티브 및 트랜스덕티브 그래프 환경에서 비공개 엣지를 얼마나 효과적으로 복원하는가?
• RQ3 실용적인 프라이버시 예산 하에서 기존의 차별적 프라이버시 GNN 메커니즘(DP-GCN, LapGraph 등)이 LinkTeller 공격에 얼마나 저항하는가?
• RQ4 프라이버시 보장 GNN에서 모델 유틸리티와 엣지 복원 공격에 대한 저항성 간의 트레이드오프는 어느 정도인가?

주요 결과

• LinkTeller는 고밀도 그래프에서 ε=10일 때 평균적으로 최대 35.7개의 비공개 엣지를 성공적으로 복원한다.
• 다양한 데이터셋에서 높은 정밀도(최대 19.6)와 재현율(최대 43.1)을 유지하며, 인덕티브 및 트랜스덕티브 환경 모두에서 기존의 베이스라인을 능가한다.
• 중간 수준의 프라이버시 예산(ε > 5) 조건에서도 기존의 DP-GCN 메커니즘은 엣지 복원을 방지하지 못하며, 여러 데이터셋에서 재현율이 20를 초과한다.
• 제안된 LapGraph 메커니즘은 약간의 내공을 향상시키지만, ε < 8일 경우에도 여전히 LinkTeller 공격을 완전히 저지하지 못한다.
• 이 연구는 중요한 격차를 드러내며, 현재의 DP-GCN은 영향 기반 엣지 복원 공격에 취약하여 프라이버시 보장을 빛바래게 한다.
• 결과는 근본적인 트레이드오프를 강조한다: 더 높은 모델 유틸리티는 GNN 추론 API에서 엣지 프라이버시 泄露에 더 취약한 결과를 초래한다.