[논문 리뷰] Membership Inference Attack on Graph Neural Networks

Iyiola E. Olatunji, Wolfgang Nejdl외 1명|arXiv (Cornell University)|2021. 01. 17.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 모델 출력에 대한 블랙박스 액세스만을 사용하여 그래프 신경망(GNNs)에 대한 소유자 식별 공격을 제안하며, 과적합 외에도 그래프의 구조적 정보가 GNN의 개인정보 유출에 매우 취약하게 만든다고 밝힌다. 출력 흐트림과 쿼리 이웃 샘플링 기반의 두 가지 효과적인 방어 기법을 제안하여 공격 성공률을 최대 60%까지 감소시키며 모델의 유용성은 유지한다.

ABSTRACT

Graph Neural Networks (GNNs), which generalize traditional deep neural networks on graph data, have achieved state-of-the-art performance on several graph analytical tasks. We focus on how trained GNN models could leak information about the \emph{member} nodes that they were trained on. We introduce two realistic settings for performing a membership inference (MI) attack on GNNs. While choosing the simplest possible attack model that utilizes the posteriors of the trained model (black-box access), we thoroughly analyze the properties of GNNs and the datasets which dictate the differences in their robustness towards MI attack. While in traditional machine learning models, overfitting is considered the main cause of such leakage, we show that in GNNs the additional structural information is the major contributing factor. We support our findings by extensive experiments on four representative GNN models. To prevent MI attacks on GNN, we propose two effective defenses that significantly decreases the attacker's inference by up to 60% without degradation to the target model's performance. Our code is available at https://github.com/iyempissy/rebMIGraph.

연구 동기 및 목표

• 일반화가 잘 되어 있음에도 불구하고 GNN이 훈련 노드에 대한 소유자 정보를 누출하는지 조사하기 위해.
• 과적합 외에 GNN의 취약성의 근본 원인을 특정하기 위해, 특히 그래프 구조의 역할을.
• 모델 유용성을 유지하면서 실용적인 소유자 식별 공격에 대한 방어 기법을 개발하기 위해.
• 출력 흐트림과 이웃 쿼리 흐트림의 효과를 평가하여 공격 성공률 감소에 기여하는지.
• 다양한 그래프 성질을 가진 다양한 데이터셋에서 방어 기법을 비교하기 위해.

제안 방법

• 실제 상황을 반영하는 두 가지 소유자 식별 공격 설정을 도입: 하나는 모델의 후행 확률을 직접 사용하는 (VanPd), 다른 하나는 실제 쿼리 제약 조건을 시뮬레이션하기 위해 이웃 샘플링을 사용하는 (NsD).
• 타겟 GNN의 신뢰도 점수(클래스 후행 확률)를 기반으로 흑상자 공격 모델을 훈련하여 훈련 노드와 비훈련 노드를 구분한다.
• 출력 흐트림(VanPd)과 쿼리 이웃 흐트림(NsD)을 통해 방어 기법을 구현하며, 이때 이웃 샘플링이 추론 도중 타겟 모델의 입력을 왜곡한다.
• LbP(Label-based Perturbation) 방어 기법은 노이즈를 줄이면서도 개인정보 보호를 유지하는 바이닝 기반 전략으로, 특히 저도수 그래프에서 효과적이다.
• 공격 AUC, 레이블 손실(ℒ), 신뢰도 점수 왜곡(𝓒) 등의 지표를 사용하여 성능을 평가하며, 다섯 가지 벤치마크 데이터셋 간 비교를 수행한다.
• Cora, CiteSeer, PubMed, Flickr, Reddit에서 실험을 수행하여 다양한 그래프 구조와 노드 도수를 포함한다.

Figure 1 : Attack methodology for membership inference on GNN models. The training nodes and neighbor information used for training the shadow GNN model are labeled as Member . We also query the shadow model with nodes from a test graph and labeled the predictions as non-Member . These predictions a

실험 결과

연구 질문

• RQ1 GNN이 일반화가 잘 되어 있고 과적합되지 않았음에도 불구하고 소유자 식별 공격에 취약한 이유는 무엇인가?
• RQ2 그래프 구조와 노드 도수의 영향은 GNN에 대한 소유자 식별 공격 성공률에 어떻게 작용하는가?
• RQ3 출력 흐트림과 이웃 쿼리 흐트림이 GNN에 대한 소유자 식별 공격을 효과적으로 방어할 수 있는가?
• RQ4 다양한 방어 기법은 개인정보 보호와 모델 유용성 유지 측면에서 어떻게 비교되는가?
• RQ5 방어 기법이 공격자 추론를 감소시키는 동안 타겟 모델의 성능은 어느 정도 저하되는가?

주요 결과

• GNN의 구조적 인코딩이 과적합 외에도 공격에 취약하게 만들며, 이것이 주요 원인이다.
• 정규화가 잘 된 GNN조차도 노드 표현이 그래프 구조에 민감하기 때문에 소유자 식별 공격에 매우 취약하다.
• 이웃 쿼리 샘플링을 사용하는 NsD 방어 기법은 공격 성공률을 최대 60%까지 감소시키며, 레이블 손실과 신뢰도 왜곡이 최소화되어 고도수 그래프인 Reddit와 Flickr에서 특히 효과적이다.
• NsD는 신뢰도 점수 왜곡을 가장 낮게 유지한다(Reed에서 0.05), VanPd(0.82 왜곡)와 LbP(0.60 왜곡)에 비해 더 은밀하고 유용성 유지에 유리한 방어 기법이다.
• 저도수 그래프인 Cora와 PubMed에서는 NsD의 효과가 떨어지지만, 여전히 레이블 손실 0.15에서 공격 정밀도를 12% 감소시킨다.
• VanPd는 공격 성능 저하에 효과적이지만 모델 유용성에 심각한 영향을 미치며, Reddit에서 신뢰도 왜곡이 0.82로 높아 실생활 적용에 덜 실용적이다.

(a) TSTF Setting