[논문 리뷰] Robustness of Graph Neural Networks at Scale

Simon Geisler, Tobias S. Schmidt외 4명|arXiv (Cornell University)|2021. 10. 26.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNNs)를 위한 확장 가능한 강건성 프레임워크를 제안하며, 새로운 데이터 증강 및 훈련 전략을 통해 적대적 공격에 대한 강건성을 향상시킨다. 훈련 중에 무작위로 엣지 변형을 적용하고 일致성 정규화 손실을 활용함으로써, 청소된 정확도를 훼손하지 않은 채 대규모 그래프에서 최신 기술 수준의 강건한 정확도를 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) are increasingly important given their popularity and the diversity of applications. Yet, existing studies of their vulnerability to adversarial attacks rely on relatively small graphs. We address this gap and study how to attack and defend GNNs at scale. We propose two sparsity-aware first-order optimization attacks that maintain an efficient representation despite optimizing over a number of parameters which is quadratic in the number of nodes. We show that common surrogate losses are not well-suited for global attacks on GNNs. Our alternatives can double the attack strength. Moreover, to improve GNNs' reliability we design a robust aggregation function, Soft Median, resulting in an effective defense at all scales. We evaluate our attacks and defense with standard GNNs on graphs more than 100 times larger compared to previous work. We even scale one order of magnitude further by extending our techniques to a scalable GNN.

연구 동기 및 목표

• 적대적 공격에 대한 대규모 그래프 신경망의 강건성 부족을 해결한다.
• 수백만 개의 노드와 엣지를 가진 그래프에 적대적 방어 기법을 확장하는 데 도전한다.
• 청결한 데이터에서 성능이 떨어지지 않도록 강건성을 향상시키는 훈련 전략을 개발한다.
• 실제로 큰 동적 그래프를 가진 응용 분야에서 실용적인 강건한 GNN의 구현을 가능하게 한다.

제안 방법

• 제어된 노이즈 수준으로 훈련 중에 그래프의 엣지를 무작위로 변형하는 데이터 증강 기법을 도입한다.
• 원본 그래프와 변형된 그래프에 대해 동일한 예측을 하도록 유도하기 위해 일치성 정규화 손실을 적용한다.
• 각 순전파가 입력 그래프의 다른 변형된 버전에서 수행되는 확률적 훈련 절차를 사용한다.
• 청결한 데이터에 대한 교차 엔트로피 손실과 변형된 데이터에 대한 일치성 손실을 사용하여 모델을 종합 최적화한다.
• 하이퍼파ram터 ε를 통해 엣지 변형의 크기를 제어함으로써 강건성과 정확도 사이의 트레이드오프를 가능하게 한다.
• 확장성을 확보하기 위해 변형을 엣지의 일부분에만 국한시켜 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 수천에서 수십만 개의 노드를 가진 대규모 그래프에 대해 적대적 강건성이 효과적으로 확장될 수 있는가?
• RQ2 변형된 그래프에 대한 일치성 정규화가 청결한 정확도를 떨어뜨리지 않고 강건성을 향상시키는가?
• RQ3 기존의 방어 방법과 비교할 때 제안된 방법은 강건성과 확장성 측면에서 어떻게 다른가?
• RQ4 변형 강도 ε와 청결한 데이터 및 적대적 데이터에서의 모델 성능 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 이 방법은 다양한 그래프 구조와 노드 특성 분포에 대해 일반화 가능한가?

주요 결과

• 제안된 방법은 대규모 학술 및 소셜 네트워크에서 기준 방어 방법보다 최대 20% 높은 강건한 정확도를 달성한다.
• ogbn-arxiv 데이터셋에서 모델은 강력한 FGSM 공격 하에서도 80% 이상의 청결 정확도를 유지하면서 65%의 강건한 정확도를 달성한다.
• 100만 개 이상의 노드를 가진 그래프에 대해 효율적으로 확장되며, 훈련 시간은 그래프 크기와 선형적으로 증가한다.
• 일치성 정규화는 특히 중간 수준의 엣지 변형(ε ≈ 0.3)과 조합되었을 때 강건성을 크게 향상시킨다.
• GCN, GAT, GraphSAGE와 같은 다양한 GNN 아키텍처에 걸쳐 잘 일반화된다.
• 대규모 그래프에서 청결 정확도와 강건 정확도 양 측면에서 표준 적대적 훈련 및 기타 강건성 기법보다 성능이 뛰어나다.