[논문 리뷰] Model Extraction Attacks on Graph Neural Networks: Taxonomy and Realization

Bang Ye Wu, Xiangwen Yang외 2명|arXiv (Cornell University)|2020. 10. 24.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 13

한 줄 요약

이 논문은 그래프 신경망(GNN)에 대한 모델 추출 공격에 대한 최초의 종합적 연구를 제시하며, 공격자 지식(예: 노드 속성, 그래프 구조)에 따라 분류된 일곱 가지 공격 변종을 제안한다. 쿼리 응답과 부분적인 구조 지식을 활용하여 실제 데이터셋에서 예측 정밀도 84–89%를 달성하며, GNN API로부터 정확한 대체 모델을 재구성할 수 있음을 보여준다.

ABSTRACT

Machine learning models are shown to face a severe threat from Model Extraction Attacks, where a well-trained private model owned by a service provider can be stolen by an attacker pretending as a client. Unfortunately, prior works focus on the models trained over the Euclidean space, e.g., images and texts, while how to extract a GNN model that contains a graph structure and node features is yet to be explored. In this paper, for the first time, we comprehensively investigate and develop model extraction attacks against GNN models. We first systematically formalise the threat modelling in the context of GNN model extraction and classify the adversarial threats into seven categories by considering different background knowledge of the attacker, e.g., attributes and/or neighbour connections of the nodes obtained by the attacker. Then we present detailed methods which utilise the accessible knowledge in each threat to implement the attacks. By evaluating over three real-world datasets, our attacks are shown to extract duplicated models effectively, i.e., 84% - 89% of the inputs in the target domain have the same output predictions as the victim model.

연구 동기 및 목표

• 그래프가 아닌 모델에서는 알려진 위험이 존재하지만 여전히 미해결된 그래프 신경망(GNN)에 대한 모델 추출 공격의 위협을 조사하기 위해.
• 노드 속성과 그래프 연결성과 같은 다양한 배경 지식 수준에 기반한 공격자 능력의 형식화를 위해.
• 오직 API 쿼리 응답과 부분적인 구조 지식만을 사용하여 정확한 대체 GNN 모델을 재구성할 수 있는 실용적인 공격 방법을 개발하기 위해.
• 다양한 위협 모델 하에서 여러 실제 그래프 데이터셋에 걸쳐 이러한 공격의 효과성을 평가하기 위해.
• GNN 모델 추출 위협에 대한 분류 체계를 수립하고, 실세계의 MLOps 환경에서 이러한 공격의 실현 가능성과 영향력을 입증하기 위해.

제안 방법

• 노드 속성, 이웃 연결성, 샤로우 그래프에 대한 액세스 수준에 따라 공격자를 일곱 가지 위협 모델로 분류한다.
• 대상 그래프 내 정상적인 노드를 모방하는 합법적으로 보이는 입력을 생성하기 위한 쿼리 전략을 설계한다.
• GNN의 API로부터 입력-출력 쌍을 수집하여 피해자 모델의 행동을 재현하는 대체 모델을 훈련시킨다.
• 유사한 구조와 특성을 가진 합성 또는 부분적으로 관측된 그래프인 샤로우 그래프를 활용하여 대체 모델의 정밀도를 향상시킨다.
• 여러 개의 추출된 모델을 조합하여 앙상블 학습을 적용함으로써 대상 GNN과의 예측 일致성 향상.
• 구조 지식(예: 2단계 이내의 이웃)과 속성 정보를 활용하여 대체 모델의 훈련을 안내한다.

실험 결과

연구 질문

• RQ1 공격자의 배경 지식에 기반하여 GNN에 대한 모델 추출 공격의 고유한 위협 모델은 무엇인가?
• RQ2 부분적인 그래프 구조와 노드 속성이 GNN에 대한 모델 추출 공격의 성공에 어떤 영향을 미치는가?
• RQ3 오직 API 쿼리 응답과 제한된 구조 지식만을 사용하여 원본 모델에 높은 정밀도로 대체 GNN 모델을 구성할 수 있는가?
• RQ4 공격자 지식 수준의 차이(예: 샤로우 그래프 유무)가 추출된 모델의 정확도와 정밀도에 어떤 영향을 미치는가?
• RQ5 공격 노드의 수와 그 이웃 구조가 추출된 대체 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 공격는 세 가지 실제 데이터셋(Cora, Citeseer, Pubmed)에서 대상 GNN 모델에 대해 84–89%의 예측 정밀도를 달성하여, 매우 정확한 대체 모델 재구성 가능성을 보여준다.
• 공격-4는 대상 그래프 노드에 대한 액세스와 함께 샤로우 그래프를 사용하며, 공격-3보다 훨씬 높은 정밀도(예: Pubmed에서 최대 0.857)를 기록하여 구조 지식의 가치를 입증한다.
• 공격 노드의 수는 성능에 미미한 영향을 미치며, 대체 모델의 성능은 주로 샤로우 그래프와 구조 정보의 질에 의해 결정된다.
• 여러 개의 추출된 모델 출력을 조합한 앙상블 모델은 특히 하나의 구성 모델(예: 공격-3)이 우수한 성능을 보일 경우 정밀도와 정확도를 향상시킨다.
• 공격-6는 노드 속성 전반에 대한 액세스와 샤로우 그래프 지식을 결합하여, 최고 성능을 보이는 공격들과 비교해도 유사한 성능을 기록하며, 다중 지식 출처의 효과성을 확인한다.
• 추출된 모델의 정밀도는 공격 노드의 수보다 구조 지식에 더 민감하게 반응함을 확인하여, GNN 모델 추출에서 그래프 구조의 중요성을 강조한다.