[논문 리뷰] Certified Robustness of Graph Neural Networks against Adversarial Structural Perturbation

Binghui Wang, Jinyuan Jia외 2명|arXiv (Cornell University)|2020. 08. 24.

Adversarial Robustness in Machine Learning참고 문헌 73인용 수 5

한 줄 요약

이 논문은 이진 그래프 구조에 맞게 조정된 랜덤 스무딩을 사용하여 구조적 흐트러짐에 대한 그래프 신경망(GNNs)의 인증된 강건성 프레임워크를 제안한다. 노드 및 그래프 분류에 대해 엄밀하고 공식적으로 증명된 강건성 보장을 제공하며, 공격자가 최대 5개의 간선을 수정할 수 있는 Cora(5-edge perturbation)에서 최대 0.55의 인증된 정확도를 달성하고, 15개의 간선 수정이 가능한 Cora(15-edge perturbation)에서는 0.49의 인증된 정확도를 확보한다.

ABSTRACT

Graph neural networks (GNNs) have recently gained much attention for node and graph classification tasks on graph-structured data. However, multiple recent works showed that an attacker can easily make GNNs predict incorrectly via perturbing the graph structure, i.e., adding or deleting edges in the graph. We aim to defend against such attacks via developing certifiably robust GNNs. Specifically, we prove the certified robustness guarantee of any GNN for both node and graph classifications against structural perturbation. Moreover, we show that our certified robustness guarantee is tight. Our results are based on a recently proposed technique called randomized smoothing, which we extend to graph data. We also empirically evaluate our method for both node and graph classifications on multiple GNNs and multiple benchmark datasets. For instance, on the Cora dataset, Graph Convolutional Network with our randomized smoothing can achieve a certified accuracy of 0.49 when the attacker can arbitrarily add/delete at most 15 edges in the graph.

연구 동기 및 목표

• GNN의 구조적 공격(예: 간선 추가 또는 삭제)에 대한 임계적인 취약성을 해결한다.
• 모든 GNN 분류기의 구조적 공격에 대해 일반적이고 공식적이며 엄밀한 인증된 강건성 보장을 제공한다.
• 이미지 강건성에서 유래한 랜덤 스무딩 기법을 이진 그래프 데이터에 확장하여 확률적 강건성 인증을 가능하게 한다.
• 그래프 공간의 고차원적이고 조합적 도전 과제에도 불구하고, 실용적인 방법으로 인증된 흐트러짐 크기를 계산한다.
• 노드 및 그래프 분류 작업을 위한 다양한 GNN 아키텍처와 벤치마크 데이터셋에서 실험적으로 방법의 유효성을 검증한다.

제안 방법

• 그래프 간선을 이진 벡터로 모델링하고 입력에 랜덤 노이즈(간선 뒤집기)를 적용하여 이진 그래프 구조에 랜덤 스무딩을 적응시킨다.
• 레이블 예측 기반으로 그래프 공간 내 분리된 영역을 정의하고, 강건성 인증에 통계적 가설 검정을 위해 네이만-피어슨 정리를 적용한다.
• 모든 최대 K개의 간선 흐트러짐에 대해 스무딩된 GNN이 동일한 레이블을 예측할 수 있도록 인증된 흐트러짐 크기 $K$를 유도한다.
• 확률적 보장을 갖는 동시 신뢰구간 추정(Jia et al., 2020a)을 사용하여 흐트러짐 하에서 레이블 예측의 확률 범위를 추정한다.
• 추정된 확률 범위를 활용해 가능한 한 가장 날카로운 인증된 흐트러짐 크기를 계산하기 위한 최적화 알고리즘을 설계한다.
• 원본 및 흐트러진 그래프로부터 히든거리 기반 영역에 대해 $\text{Pr}(X \in \mathcal{R}(w,v))$ 및 $\text{Pr}(Y \in \mathcal{R}(w,v))$를 정확한 조합 공식을 통해 계산한다.

실험 결과

연구 질문

• RQ1 모든 GNN에 대해 구조적 흐트러짐에 대해 일반적이고 엄밀하며 공식적으로 증명 가능한 인증된 강건성 보장을 제공할 수 있는가?
• RQ2 표준 스무딩 기법이 적용되지 않는 이산적·이진 그래프 데이터에 대해 랜덤 스무딩을 효과적으로 확장할 수 있는가?
• RQ3 스무딩된 GNN이 높은 신뢰도로 강건성을 유지할 수 있는 최대 간선 흐트러짐 수 $K$는 얼마인가?
• RQ4 다양한 GNN 아키텍처와 실제 그래프 데이터셋에서 인증된 강건성 성능는 어떻게 스케일링되는가?
• RQ5 유도된 인증된 강건성 경계가 엄밀한가, 즉 동일 조건 하에 더 큰 $K$는 더 이상 증명 불가능한가?

주요 결과

• 공격자가 최대 5개의 간선을 수정할 수 있는 Cora 데이터셋에서 제안된 방법은 0.55의 인증된 정확도를 확보한다.
• 동일한 Cora 데이터셋에서, 공격자가 최대 10개의 간선을 수정할 경우에도 인증된 정확도는 0.50을 유지한다.
• Cora에서 15개의 간선 흐트러짐이 발생할 경우에도 인증된 정확도는 0.49를 유지하여 심각한 구조적 변화에도 강건함을 입증한다.
• 제안된 방법은 엄밀한 인증된 강건성 보장을 제공하며, 추가 가정 없이 더 큰 흐트러짐 크기를 증명적으로 보장할 수 없다.
• 실험적 평가를 통해 다양한 GNN(GCN, GAT, GIN)과 데이터셋(Cora, Citeseer, Pubmed, MUTAG, PROTEINS, IMDB)에서 방법의 효과성이 확인된다.
• 조합적 복잡도가 높은 그래프 공간에서도 신뢰구간 추정과 맞춤형 최적화를 통해 인증된 흐트러짐 크기 계산이 실용적으로 가능하다.