[논문 리뷰] Adapting Membership Inference Attacks to GNN for Graph Classification: Approaches and Implications

Bang Ye Wu, Xiangwen Yang외 2명|arXiv (Cornell University)|2021. 10. 17.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 그래프 신경망(GNNs)의 그래프 수준 분류를 대상으로 하는 최초의 소유권 추론 공격(MIAs)을 제안하며, 모델의 신뢰도 점수를 사용해 전체 그래프가 훈련 세트에 포함되었는지 여부를 판단하는 두 가지 공격 유형—훈련 기반 및 임계값 기반—을 도입한다. 이 공격들은 대부분의 실세계 데이터셋에서 F1 스코어 0.7 이상을 기록하여, GNN이 비그래프 모델보다 더 취약함을 드러내며, 특히 과적합이 높을 경우 더욱 그러하다.

ABSTRACT

Graph Neural Networks (GNNs) are widely adopted to analyse non-Euclidean data, such as chemical networks, brain networks, and social networks, modelling complex relationships and interdependency between objects. Recently, Membership Inference Attack (MIA) against GNNs raises severe privacy concerns, where training data can be leaked from trained GNN models. However, prior studies focus on inferring the membership of only the components in a graph, e.g., an individual node or edge. How to infer the membership of an entire graph record is yet to be explored. In this paper, we take the first step in MIA against GNNs for graph-level classification. Our objective is to infer whether a graph sample has been used for training a GNN model. We present and implement two types of attacks, i.e., training-based attacks and threshold-based attacks from different adversarial capabilities. We perform comprehensive experiments to evaluate our attacks in seven real-world datasets using five representative GNN models. Both our attacks are shown effective and can achieve high performance, i.e., reaching over 0.7 attack F1 scores in most cases. Furthermore, we analyse the implications behind the MIA against GNNs. Our findings confirm that GNNs can be even more vulnerable to MIA than the models with non-graph structures. And unlike the node-level classifier, MIAs on graph-level classification tasks are more co-related with the overfitting level of GNNs rather than the statistic property of their training graphs.

연구 동기 및 목표

• 기존 연구가 노드나 엣지에만 초점을 맞춘 바 있는 그래프 수준 GNN에 대한 소유권 추론 공격(MIA)의 격차를 메우기 위해.
• 전체 그래프가 훈련 샘플로 사용되었는지 여부—즉, 전체 그래프가 훈련 세트에 포함되었는지 여부를 판단할 수 있는지 조사하기 위해.
• 그래프 분류 작업에서 GNN에 대한 MIA의 효과성과 영향을 미치는 요인을 평가하기 위해.
• 다양한 GNN 아키텍처와 데이터셋 간에 MIA의 전이 가능성(transferability)을 검토하기 위해.
• 모델 과적합과 그래프 수준 성질이 MIA 성공에 어떻게 영향을 미치는지 이해하기 위해.

제안 방법

• 두 가지 공격 변종을 제안: 훈련 기반 공격는 그림자 모델의 신뢰도 점수를 기반으로 이진 분류기를 훈련시키며, 임계값 기반 공격는 신뢰도 점수에 고정된 임계값을 적용한다.
• 공격 분류기나 임계값 처리 기반으로 사용하기 위해 타겟 GNN 모델의 신뢰도 점수(후행 확률)를 입력으로 사용한다.
• 공격 훈련 데이터를 생성하기 위해 타겟 데이터 분포를 모방하는 합성 데이터셋을 기반으로 그림자 모델을 훈련시킨다.
• 전이 학습과 교차 모델 평가를 적용하여 다양한 GNN 아키텍처와 데이터셋 간의 공격 일반화 능력을 테스트한다.
• 데이터셋/그래프 성질과 공격 성능 간의 관계를 분석하기 위해 스피어만의 순위 상관관계를 사용한다.
• 다섯 가지 대표적인 GNN 모델(GCN, GIN, GraphSAGE 등)을 사용해 일곱 개의 실세계 데이터셋에서 공격를 평가한다.

실험 결과

연구 질문

• RQ1 전체 그래프가 훈련 세트에 포함되었는지 여부를 판단하는 것을 목표로 하는 그래프 수준 GNN 분류에 대해 소유권 추론 공격(MIA)이 효과적으로 적용될 수 있는가?
• RQ2 모델 과적합과 그래프 수준 데이터 성질(예: 평균 차수, 클래스 수 등)이 GNN에서 MIA 성공에 어떻게 영향을 미치는가?
• RQ3 GNN에서의 MIA는 다양한 GNN 아키텍처와 데이터셋 간에 어느 정도 전이 가능한가?
• RQ4 그래프 수준 MIA의 성능 특성은 노드 수준 MIA와 비교해 어떤 요인에 의해 영향을 받는가?
• RQ5 고정밀도 소유권 추론 공격를 가능하게 하는 GNN의 핵심 취약점은 무엇인가?

주요 결과

• 제안된 훈련 기반 및 임계값 기반 MIA는 일곱 개의 실세계 데이터셋 대부분에서 F1 스코어 0.7 초과를 기록하여 높은 공격 효과성을 입증한다.
• 모델 과적합 수준(훈련-테스트 정확도 간 격차로 측정)이 그래프 수준 GNN에서 MIA 성공의 가장 강력한 예측 변수이며, 과적합이 높을수록 공격 성능이 뚜렷이 향상된다.
• 평균 노드 차수가 높은 데이터셋에서 훈련된 GNN은 MIA에 더 취약한 편이며, 이는 소유권 예측에 대한 신뢰도가 증가하기 때문일 것이다.
• 그래프 수준 MIA는 그래프 구조 성질보다 모델 과적합과 더 강하게 상관되며, 이는 노드 수준 MIA가 국소 그래프 구조에 더 의존하는 것과 대비된다.
• 타겟 GNN 아키텍처가 알려져 있지 않은 경우에도 공격가 효과를 유지하여 다양한 GNN 유형 간 강력한 전이성(transferability)을 보인다.
• 비그래프 딥러닝 모델에 비해 그래프 수준 GNN에서의 MIA가 더 효과적이며, 이는 GNN이 본질적으로 소유권 누출에 더 취약할 수 있음을 시사한다.