[논문 리뷰] Adversarial Defense Framework for Graph Neural Network

Shen Wang, Zhengzhang Chen외 5명|arXiv (Cornell University)|2019. 05. 09.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 21

한 줄 요약

이 논문은 그래프 신경망(GNNs)에 대한 적대적 공격에 대비한 새로운 방어 프레임워크인 DefNet을 제안한다. 이는 계층별 취약점을 해결하기 위해 双단계 집합과 버티브 퍼셉트론을 도입하고, 조건부 GAN 기반의 적대적 대비 학습을 활용하여 강건성을 향상시킨다. 실험 결과, 다양한 공격에 대해 DefNet이 GNN의 강건성을 크게 향상시키며, FGSM 공격 상황에서 표준 GNN이 3%로 급격히 감소하는 데 비해 최대 65%의 정확도를 기록한다.

ABSTRACT

Graph neural network (GNN), as a powerful representation learning model on graph data, attracts much attention across various disciplines. However, recent studies show that GNN is vulnerable to adversarial attacks. How to make GNN more robust? What are the key vulnerabilities in GNN? How to address the vulnerabilities and defense GNN against the adversarial attacks? In this paper, we propose DefNet, an effective adversarial defense framework for GNNs. In particular, we first investigate the latent vulnerabilities in every layer of GNNs and propose corresponding strategies including dual-stage aggregation and bottleneck perceptron. Then, to cope with the scarcity of training data, we propose an adversarial contrastive learning method to train the GNN in a conditional GAN manner by leveraging the high-level graph representation. Extensive experiments on three public datasets demonstrate the effectiveness of DefNet in improving the robustness of popular GNN variants, such as Graph Convolutional Network and GraphSAGE, under various types of adversarial attacks.

연구 동기 및 목표

• GNN 계층 내 잠재적인 취약점, 특히 집합 및 퍼셉트론 구성 요소에서의 취약점을 규명하고 이를 해결하는 것.
• 조합 구조를 가진 이산적 그래프 데이터에서의 적대적 공간 문제를 해결하여 효과적인 적대적 데이터 증강을 가능하게 하는 것.
• 구조적 및 특성 기반 변형 공격을 포함한 다양한 적대적 공격에 대비한 GNN의 강건성을 향상시키는 것.
• GCN 및 GraphSAGE와 같은 인기 있는 GNN 변종에 적용 가능한 확장 가능한 방어 프레임워크를 개발하는 것.

제안 방법

• 이웃 메시지 전파를 분리함으로써 노드 표현 학습의 안정성을 높이기 위해 이중단계 집합을 도입한다.
• 입력 차원을 감소시켜 고차원 입력에 기인한 적대적 취약성을 완화하기 위해 버티브 퍼셉트론을 활용한다.
• 적대적 훈련을 고수준 그래프 표현을 보조 지도로 사용하는 조건부 GAN으로 모델링하는 적대적 대비 학습(ACL)을 제안한다.
• 고수준 그래프 표현을 활용해 효과적이고 그래프 구조를 갖춘 적대적 샘플을 생성하여 데이터 증강에 활용한다.
• 생성자 모델이 고수준 그래프 구조를 조건으로 하여 적대적 예제를 생성하는 방식으로 GNN을 조건부 GAN 방식으로 훈련시킨다.
• GER(Graph Encoder Refining)와 ACL(Adversarial Contrastive Learning) 모듈을 통합하여 하나의 방어 프레임워크인 DefNet으로 구성한다.

실험 결과

연구 질문

• RQ1 GNN의 핵심 아키텍처 취약점은 무엇이며, 이를 적대적 공격에서 취약하게 만드는가?
• RQ2 조합적 구조를 가진 이산적 그래프 데이터에 대해 적대적 훈련을 효과적으로 어떻게 적응시킬 수 있는가?
• RQ3 조건부 GAN을 활용해 그래프 데이터에 의미 있는 적대적 예제를 생성하여 강건성을 향상시킬 수 있는가?
• RQ4 실제 그래프 데이터셋에서 제안된 방어 프레임워크는 표준 적대적 훈련 및 기준 방어 기법보다 어떻게 비교되는가?
• RQ5 DefNet은 다양한 공격 유형에 대해 다양한 GNN 변종에서 얼마나 강건성을 향상시키는가?

주요 결과

• DefNet은 GNN의 강건성을 크게 향상시키며, Cora에서 FGSM 공격 상황에서 표준 GCN의 3%에 비해 65%의 정확도를 기록한다.
• ACL 모듈은 모든 데이터셋과 GNN 변종에서 기존의 적대적 훈련 및 노이즈 대비 학습을 능가한다.
• 이중단계 집합과 버티브 퍼셉트론은 모델의 안정성을 향상시키고 고차원 입력 변형에 대한 취약성을 감소시킨다.
• Polblogs에서 RGCN에 ACL을 적용한 결과 공격 상황에서 74%의 정확도를 기록했으며, 표준 RGCN의 18%에 비해 뛰어난 방어 성능을 입증한다.
• 대상 공격 및 비대상 공격 모두에서 GCN 및 GraphSage를 포함한 다양한 GNN 변종에서 높은 성능을 유지한다.
• 제거 실험 결과, GER 및 ACL 모듈이 전체 방어 성능에 기여하며, 두 모듈을 병합했을 때 최고의 성능를 기록한다.