[논문 리뷰] Topology Attack and Defense for Graph Neural Networks: An Optimization Perspective

Kaidi Xu, Hongge Chen외 5명|arXiv (Cornell University)|2019. 06. 10.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 81

한 줄 요약

본 논문은 그래프 신경망(GNN)에 대한 그래디언트 기반 토폴로지 공격을 엣지 perturb를 통해 볼록 완화(convex-relax)하고, 이러한 공격에 대한 강건성을 향상시키기 위한 최적화 기반의 적대적 학습 방법을 제안한다. 한정된 엣지 perturb에서도 Cora와 Citeseer에서 효과를 보였고, 적대적 학습으로부터의 강건성 이점을 입증한다.

ABSTRACT

Graph neural networks (GNNs) which apply the deep neural networks to graph data have achieved significant performance for the task of semi-supervised node classification. However, only few work has addressed the adversarial robustness of GNNs. In this paper, we first present a novel gradient-based attack method that facilitates the difficulty of tackling discrete graph data. When comparing to current adversarial attacks on GNNs, the results show that by only perturbing a small number of edge perturbations, including addition and deletion, our optimization-based attack can lead to a noticeable decrease in classification performance. Moreover, leveraging our gradient-based attack, we propose the first optimization-based adversarial training for GNNs. Our method yields higher robustness against both different gradient based and greedy attack methods without sacrificing classification accuracy on original graph.

연구 동기 및 목표

• 엣지가 perturb 예산 내에서 추가되거나 제거되는 상황에서 GNN에 대한 토폴로지 공격을 동기부여하고 형식화한다.
• 효과적인 토폴로지 perturb를 생성하기 위한 일차 최적화 방법(PGD 및 최소-최대 공격)을 개발한다.
• 원래 정확도를 상실하지 않고 토폴로지 공격에 대한 강건성을 높이기 위한 GNN의 적대적 학습을 제안한다.
• 볼록 완화 및 투영 방법을 통해 이산 그래프 perturb를 다루기 위한 이론적 및 알고리즘적 도구를 제공한다.

제안 방법

• Boolean 대칭 perturbation 행렬 S로 엣지 perturb를 모델링하고 tractable 최적화를 위해 [0,1]^n의 연속 변수 s로 이완한다.
• 노드 수준의 오분류를 위한 공격 손실(CE 유형 및 CW 유형)을 정의하고 두 가지 위협 모델(고정 가중치 GNN 및 재학습 가능한 GNN)에서 공격 문제를 형식화한다.
• perturbation 집합으로의 투영을 포함하는 PGD 기반 토폴로지 공격을 개발하고Closed-form projection 연산자(Proposition 1)를 제시한다.
• 내부 가중치 재학습과 외부 엣지 perturb 업데이트를 다루기 위해 교대 최적화를 이용한 최소-최대 토폴로지 공격(Algorithm 3)을 개발한다.
• Worst-case perturbation에 대해 W를 학습시켜 GNN을 강건화하는 적대적 학습(minimax)을 제안한다(Algorithm 4).
• 방법을 스펙트럴 그래프 이론 및 강건 최적화 원리에 기반한다.

실험 결과

연구 질문

• RQ1 한정된 엣지 변경 예산 내에서 GNN에 대한 토폴로지 perturb를 어떻게 최적 생성할 수 있는가?
• RQ2 일차 최적화(PGD, 최소-최대)가 엣지 파손 예산 하에서 강력한 토폴로지 공격을 만들어낼 수 있으며, 기존 공격과 비교해 어떤 차이가 있는가?
• RQ3 이 토폴로지 공격에 기반한 적대적 학습이 깨끗한 그래프에서의 정확도 손실 없이 GNN의 강건성을 높일 수 있는가?
• RQ4 고정 가중치 공격과 재학습 가능한 가중치 공격 간의 효과성 및 방어 측면에서의 관계는 무엇인가?

주요 결과

공격 방법	Cora	Citeseer
정상 모델(클린)	18.2±0.1	28.9±0.3
DICE	18.9±0.2	29.8±0.4
Greedy	25.2±0.2	34.6±0.3
Meta-Self	22.7±0.3	31.2±0.5
CE-PGD	28.0±0.1	36.0±0.2
CW-PGD	27.8±0.4	37.1±0.5
CE-min-max	26.4±0.1	34.1±0.3
CW-min-max	26.0±0.3	34.7±0.6

• 그라디언트 기반 토폴로지 공격이 동일한 perturb 예산(엣지의 5%)에서 Cora 및 Citeseer에서 다수의 최신 방법보다 우수한 성능을 보인다.
• PGD 기반 공격은 반복(iterations)을 거듭하며 공격 손실 감소를 효과적으로 달성한다.
• 최소-최대 토폴로지 공격은 재학습 모델 공격에 대해 경쟁력 있게 작동하며, 특히 상호작용 GCN 설정에서 강건성을 보인다.
• 적대적 학습은 그래디언트 기반 및 탐욕적 토폴로지 공격에 대해 현저한 강건성 향상을 제공하며 원래 그래프의 테스트 정확도를 저하시키지 않는다.
• 강건한 모델은 CE-PGD, CW-PGD, Greedy 공격 전반에서 공격 성공률이 낮아지며 perturbation 예산 ε가 증가할수록 강건성이 향상된다(5%–20%).