[논문 리뷰] Inference Attacks Against Graph Neural Networks

Zhikun Zhang, Min Chen외 3명|arXiv (Cornell University)|2021. 10. 06.

Advanced Graph Neural Networks참고 문헌 64인용 수 19

한 줄 요약

이 논문은 그래프 신경망(GNN) 임베딩의 프라이버시 위험을 조사하기 위해 성질 추론, 부분그래프 포함성 탐지, 그래프 재구성의 세 가지 추론 공격을 제안한다. 그래프 임베딩이 구조적 정보를 상당히 泄露하고 있음을 입증하며, 성질 추론에서는 최대 0.89의 정확도, 부분그래프 탐지에서는 0.98의 AUC를 기록한다. 동시에 임베딩에 펌프터베이션을 적용한 방어 기법을 제안하여 그래프 분류 작업에서 성능 저하를 최소화하면서 공격를 완화한다.

ABSTRACT

Graph is an important data representation ubiquitously existing in the real world. However, analyzing the graph data is computationally difficult due to its non-Euclidean nature. Graph embedding is a powerful tool to solve the graph analytics problem by transforming the graph data into low-dimensional vectors. These vectors could also be shared with third parties to gain additional insights of what is behind the data. While sharing graph embedding is intriguing, the associated privacy risks are unexplored. In this paper, we systematically investigate the information leakage of the graph embedding by mounting three inference attacks. First, we can successfully infer basic graph properties, such as the number of nodes, the number of edges, and graph density, of the target graph with up to 0.89 accuracy. Second, given a subgraph of interest and the graph embedding, we can determine with high confidence that whether the subgraph is contained in the target graph. For instance, we achieve 0.98 attack AUC on the DD dataset. Third, we propose a novel graph reconstruction attack that can reconstruct a graph that has similar graph structural statistics to the target graph. We further propose an effective defense mechanism based on graph embedding perturbation to mitigate the inference attacks without noticeable performance degradation for graph classification tasks. Our code is available at https://github.com/Zhangzhk0819/GNN-Embedding-Leaks.

연구 동기 및 목표

• 원본 그래프에 대한 구조적 정보가 그래프 임베딩에 얼마나 泄露되는지 조사하기 위해.
• 단일 임베딩 벡터에서 기본 그래프 성질, 부분그래프 포함성, 전체 그래프 재구성을 추출할 수 있는 추론 공격을 개발하기 위해.
• 모델 유틸리티를 유지하면서 그래프 임베딩의 프라이버시 누출을 완화할 수 있는 실용적인 방어 기법을 제안하기 위해.
• 다양한 실세계 데이터셋과 GNN 아키텍처에서 공격 및 방어 기법의 효과성을 평가하기 위해.

제안 방법

• 딥 네트워크를 사용하여 임베딩 벡터에서 그래프 성질(예: 노드 수, 간선 수, 밀도 등)을 예측하는 다중 작업 분류 문제로 성질 추론을 모델링한다.
• 그래프 임베딩과 관심 있는 부분그래프의 정보를 융합하는 새로운 그래프 임베딩 추출기를 설계하여 부분그래프 포함성 탐지 기능을 가능하게 한다.
• 학습 가능한 디코더를 갖춘 그래프 오토인코더 프레임워크를 사용하여 임베딩에서 목표 그래프를 재구성하고, 구조적 유사도를 최적화한다.
• 공유하기 전에 그래프 임베딩에 캘리브레이션된 라플라스 노이즈를 추가하여 민감한 구조적 정보를 은폐하는 방어 기법을 제안한다.
• 세 가지 최신 GNN 모델(GCN, GIN, GraphSAGE 등)을 사용하여 다섯 개의 실세계 그래프 데이터셋에서 공격 및 방어 모델을 훈련하고 평가한다.
• 공격 모델과 훈련 모델의 아키텍처 또는 샘플링 방법이 다를 경우에도 성능을 평가하기 위해 전이 공격을 수행한다.

실험 결과

연구 질문

• RQ1 어느 정도의 정확도로 공격자는 단일 그래프 임베딩에서 기본 그래프 성질(예: 노드 수, 간선 수, 밀도 등)을 추론할 수 있는가?
• RQ2 공격자가 그래프 임베딩과 부분그래프만을 가지고 원본 그래프에 특정 부분그래프가 포함되어 있는지 판단할 수 있는가?
• RQ3 단일 그래프 임베딩에서 정도 분포, 클러스터링 계수 등 유사한 구조적 통계를 가진 그래프를 재구성하는 것이 가능한가?
• RQ4 임베딩 펌프터베이션은 이러한 추론 공격을 완화하는 데 효과적이며, 하류 작업 성능 저하 없이 작동하는가?

주요 결과

• 성질 추론 공격는 DD 데이터셋에서 최대 0.89의 공격 정확도를 기록하여 기본 그래프 통계의 상당한 泄露를 입증한다.
• 부분그래프 추론 공격는 DD 데이터셋에서 AUC 0.98을 기록하여 부분그래프 포함성을 탐지하는 데 매우 높은 신뢰도를 보였다.
• 그래프 재구성 공격는 국소 클러스터링 계수 분포에서 코사인 유사도 0.99를 기록했으며, 원본 그래프와 높은 이소모르피즘 유사도를 보였다.
• 라플라스 노이즈 펌프터베이션을 통한 제안된 방어 기법은 세 가지 추론 공격 모두를 효과적으로 완화했으며, 그래프 분류 정확도는 약간 감소하는 데 그쳤다.
• 다른 GNN 아키텍처와 샘플링 방법 간 전이 공격가 성공하여 제안된 공격의 강건성과 일반화 능력을 입증했다.
• 결과적으로 그래프 임베딩는 단일 벡터로 압축되더라도 상당한 구조적 정보를 泄露하고 있음을 보여주며, 차원 감소를 통한 프라이버시 보장이라는 가정을 도전한다.