[논문 리뷰] On Strengthening and Defending Graph Reconstruction Attack with Markov Chain Approximation

Zhanke Zhou, Chenyu Zhou외 4명|arXiv (Cornell University)|2023. 06. 15.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 그래프 신경망(GNN)의 그래프 복원 공격(GRA)을 체계적으로 연구하고 향상시키기 위해 새로운 마르코프 체인 근사 프레임워크를 제안한다. 이는 GNN이 중간 표현을 통해 비밀의 인접 정보를 泄露한다는 것을 드러내며, 더 강력한 공격을 위한 MC-GRA와 방어를 위한 MC-GPB를 제안한다. 이는 정확도 손실이 최소화되면서도 공격 적합도를 극적으로 감소시키며, 여섯 개의 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Although powerful graph neural networks (GNNs) have boosted numerous real-world applications, the potential privacy risk is still underexplored. To close this gap, we perform the first comprehensive study of graph reconstruction attack that aims to reconstruct the adjacency of nodes. We show that a range of factors in GNNs can lead to the surprising leakage of private links. Especially by taking GNNs as a Markov chain and attacking GNNs via a flexible chain approximation, we systematically explore the underneath principles of graph reconstruction attack, and propose two information theory-guided mechanisms: (1) the chain-based attack method with adaptive designs for extracting more private information; (2) the chain-based defense method that sharply reduces the attack fidelity with moderate accuracy loss. Such two objectives disclose a critical belief that to recover better in attack, you must extract more multi-aspect knowledge from the trained GNN; while to learn safer for defense, you must forget more link-sensitive information in training GNNs. Empirically, we achieve state-of-the-art results on six datasets and three common GNNs. The code is publicly available at: https://github.com/tmlr-group/MC-GRA.

연구 동기 및 목표

• GNN의 그래프 복원 공격(GRA)에 대한 취약성을 체계적으로 조사하는 것. 이 공격는 모델 출력물에서 비밀의 인접 구조를 복원하는 것을 목표로 한다.
• 다양한 GNN 표현(예: 노드 임베딩, 예측)이 인접 정보를 어떻게 泄露하는지에 대한 기초 메커니즘을 이해하는 것.
• 공격 및 방어 전략을 유연하고 적응적으로 가능하게 하는 마르코프 체인 근사 기반의 통합 프레임워크를 개발하는 것.
• 정보 이론에 기반한 방어 메커니즘을 제안하여 정확도 저하 없이 프라이버시 유출을 줄이는 것.
• 여섯 개의 실세계 데이터셋과 세 가지 GNN 아키텍처에서 제안된 방법의 실험적 검증을 수행하는 것.

제안 방법

• 입력(인접 행렬 A, 특징 X)이 은닉 표현 H_A를 거쳐 예측 Y_hat로 전파되는 GNN 추론 과정을 마르코프 체인으로 모델링한다.
• 원래 마르코프 체인의 근사치로 복구된 인접 행렬 Â를 사용하는 체인 기반 공격 방법인 MC-GRA를 제안하며, X, H_A, Y_hat, Y 등 여러 변수에 대한 적합도를 최적화한다.
• 정보 이론적 제약 조건을 사용해 그래프 표현, 인접성, 레이블 간의 상호의존성을 정규화하는 MC-GPB라는 방어 방법을 도입한다.
• 공격 및 방어 목표에서 원본 및 복구된 변수 간의 정렬도를 측정하기 위해 유사도 지표(MSE, KL, CKA, DP 등)를 사용한다.
• 복잡성 및 프라이버시 제약 조건을 고려해 학습 가능한 하이퍼파rameter(예: α_c, α_p, β_p)를 갖는 미분 가능한 목표 함수를 최적화한다.
• 데이터셋에 따라 랜덤 또는 격자 탐색을 통해 하이퍼파rameter를 튜닝하며, 각 설정에 대해 최적의 값을 보고한다.

실험 결과

연구 질문

• RQ1 노드 특징, 임베딩, 예측 등 다양한 GNN 표현이 비밀의 인접 구조 유출에 어떻게 기여하는가?
• RQ2 마르코프 체인 근사 모델이 GNN의 입력에서 출력으로의 정보 전파를 얼마나 정확히 모델링할 수 있는가?
• RQ3 GNN으로부터 다각도 지식을 추출할 때 공격 적합도와 모델 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ4 링크 민감 정보를 능동적으로 잊는 방어 메커니즘이 정확도 손실을 최소화하면서도 복원 적합도를 극적으로 낮출 수 있는가?
• RQ5 다양한 유사도 지표와 정규화 전략이 GRA의 공격 및 방어 성능에 어떤 영향을 미치는가?

주요 결과

• MC-GRA는 여섯 개의 데이터셋과 세 가지 GNN 아키텍처에서 공격 체인 내에서 다수의 유용한 변수(X, H_A, Y_A, Y)를 적응적으로 조합함으로써 최고 성능의 공격 성능을 달성한다.
• MC-GPB는 모든 평가된 데이터셋에서 공격 적합도를 근본적으로 낮추며, 정확도 손실은 중간 정도로 유지된다(예: Cora 및 Citeseer에서 <2%).
• 최적의 방어 하이퍼파rameter(β_p, β_c)는 데이터셋 간에 크게 다름을 보이며, 이는 데이터셋 별 튜닝이 필요함을 시사한다.
• 방어 목표에서 사용된 유사도 지표(예: KDE, DP, KL)의 선택이 프라이버시 보호 효과에 큰 영향을 미친다.
• 노드 특징과 은닉 표현을 사전 지식으로 포함할 경우 공격가 적합도가 높게 유지되며(예: Cora에서 AUC > 0.9), 다각도 유출의 위험을 드러낸다.
• 다양한 GNN 아키텍처와 데이터셋(사회 네트워크: Polblogs, Brazil; 인용 네트워크: AIDS, USA)에 걸쳐 방어 메커니즘이 뛰어난 강건성을 보였다.