[논문 리뷰] Adversarial Model Extraction on Graph Neural Networks

David DeFazio, Arti Ramesh|arXiv (Cornell University)|2019. 12. 16.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 9

한 줄 요약

이 논문은 그래프 신경망(GNN)에 대한 적대적 모델 추출의 첫 번째 공식적 연구를 제안하며, 반복적인 하위그래프 변형을 통해 블랙박스 피해자 모델을 쿼리하여 고정밀도 GNN을 추출하는 학습 기반 방법을 제시한다. 전체 그래프의 소수의 일부(최소 1.7%의 노드)에만 접근할 수 있는 상황에서도, Cora 및 PubMed 데이터셋에서 피해자 모델의 예측을 재현하는 데 최대 80%의 정밀도를 달성한다.

ABSTRACT

Along with the advent of deep neural networks came various methods of exploitation, such as fooling the classifier or contaminating its training data. Another such attack is known as model extraction, where provided API access to some black box neural network, the adversary extracts the underlying model. This is done by querying the model in such a way that the underlying neural network provides enough information to the adversary to be reconstructed. While several works have achieved impressive results with neural network extraction in the propositional domain, this problem has not yet been considered over the relational domain, where data samples are no longer considered to be independent and identically distributed (iid). Graph Neural Networks (GNNs) are a popular deep learning framework to perform machine learning tasks over relational data. In this work, we formalize an instance of GNN extraction, present a solution with preliminary results, and discuss our assumptions and future directions.

연구 동기 및 목표

• 그래프 구조 데이터의 관계적이고 비i.i.d. 도메인에서 모델 추출 문제를 공식화하기 위해.
• 블랙박스 피해자 GNN에 대한 API 접근만을 사용하여 GNN 모델을 추출하는 학습 기반 접근법을 개발하기 위해.
• 제한된 하위그래프 접근과 적대적 변형 비용과 같은 현실적인 제약 조건 하에서 GNN 모델 추출의 가능성과 정밀도를 평가하기 위해.
• 확장 가능하고 도청이 어려운 GNN 추출을 위한 핵심 가정, 한계점 및 향후 연구 방향을 규명하기 위해.

제안 방법

• 해당 방법은 피해자 그래프의 변형된 하위그래프를 생성하여 서rogate GNN을 구성한다. 각 변형은 노드 특성의 변경 또는 노드의 추가/삭제를 포함한다.
• 각 변형된 하위그래프에 대해 피해자 GNN을 쿼리하여 노드 수준의 예측을 확보하고, 이를 추출 모델을 훈련하기 위한 레이블로 사용한다.
• 각 클래스를 나타내는 서로 다른 하위그래프 블록-대각형 행렬을 기반으로 추출 모델을 훈련하여 클래스 커버리지가 보장되도록 한다.
• 변형이 구조적 및 특성 분포를 충분히 유지하여 피해자 GNN으로부터 정보성 있는 예측을 이끌어낼 수 있다고 가정한다.
• 추출 모델로 GCN을 사용하며, 정답 레이블이 아닌 피해자 모델의 예측을 따라가도록 훈련함으로써 기능적 동치성을 중시한다.
• 실험에서는 하위그래프 샘플 수와 하위그래프 크기를 변화시켜 다양한 쿼리 제약 조건 하에서 정밀도를 평가한다.

실험 결과

연구 질문

• RQ1 적대적 모델 추출이 관계적이고 비i.i.i.d. 환경인 그래프 신경망에 효과적으로 적용될 수 있는가?
• RQ2 접근 가능한 하위그래프의 크기와 변형된 샘플 수가 추출된 GNN의 정밀도에 어떤 영향을 미치는가?
• RQ3 블랙박스 쿼리 접근 조건 하에서 학습 기반 GNN 추출의 핵심 가정과 한계점은 무엇인가?
• RQ4 실제 그래프 환경에서 모델 추출을 더욱 확장 가능하고 탐지하기 어려운 방식으로 어떻게 개선할 수 있는가?
• RQ5 피해자 GNN의 설명 가능성 또는 기울기 정보가 추출 정밀도를 향상시키는 데 기여할 수 있는가?

주요 결과

• 제안된 방법은 Cora 및 PubMed 인용 네트워크에서 피해자 GNN의 예측을 재현하는 데 최대 80%의 정밀도를 달성한다. 이는 소수의 하위그래프에만 접근하는 조건에서도 가능하다.
• Cora에서 평균 하위그래프 크기가 45.9개 노드(전체 노드의 1.7%)였을 때, 10개의 랜덤 노드에 대해 평균 77%의 정밀도를 기록했다.
• 클래스당 샘플 수가 많아질수록 정밀도가 향상되었으며, 클래스당 100개의 샘플을 사용했을 때 Cora에서는 83%, PubMed에서는 83%의 정밀도를 달성했다.
• 작은 하위그래프에서는 샘플 수 증가에 따라 정밀도가 급격히 향상되었고, 더 큰 하위그래프에서는 적은 수의 샘플로도 높은 정밀도를 달성했다.
• 훈련 시 테스트 분포와 다른 합성 변형 그래프 분포를 사용했음에도 불구하고 효과적으로 작동하여 분포 이동에 대한 강건성을 보였다.
• 현재 GCN의 이행적 성격과 많은 수의 변형이 필요로 하는 점으로 인해 제한되어 있으며, 더 나은 일반화를 위해 GraphSAGE와 같은 인덕티브 GNN이 필요하다고 제안된다.