[논문 리뷰] Graph Structure Learning for Robust Graph Neural Networks

Wei Jin, Yao Ma외 4명|arXiv (Cornell University)|2020. 05. 20.

Advanced Graph Neural Networks참고 문헌 41인용 수 49

한 줄 요약

Pro-GNN가 perturbed graphs에서 깨끗한 그래프 구조와 강건한 GNN 매개변수를 함께 학습하며 저랭크, 희소성, 특징 스무딩을 강제하여 다양한 그래프 적대 공격에 강력한 방어를 제공한다.

ABSTRACT

Graph Neural Networks (GNNs) are powerful tools in representation learning for graphs. However, recent studies show that GNNs are vulnerable to carefully-crafted perturbations, called adversarial attacks. Adversarial attacks can easily fool GNNs in making predictions for downstream tasks. The vulnerability to adversarial attacks has raised increasing concerns for applying GNNs in safety-critical applications. Therefore, developing robust algorithms to defend adversarial attacks is of great significance. A natural idea to defend adversarial attacks is to clean the perturbed graph. It is evident that real-world graphs share some intrinsic properties. For example, many real-world graphs are low-rank and sparse, and the features of two adjacent nodes tend to be similar. In fact, we find that adversarial attacks are likely to violate these graph properties. Therefore, in this paper, we explore these properties to defend adversarial attacks on graphs. In particular, we propose a general framework Pro-GNN, which can jointly learn a structural graph and a robust graph neural network model from the perturbed graph guided by these properties. Extensive experiments on real-world graphs demonstrate that the proposed framework achieves significantly better performance compared with the state-of-the-art defense methods, even when the graph is heavily perturbed. We release the implementation of Pro-GNN to our DeepRobust repository for adversarial attacks and defenses (footnote: https://github.com/DSE-MSU/DeepRobust). The specific experimental settings to reproduce our results can be found in https://github.com/ChandlerBang/Pro-GNN.

연구 동기 및 목표

• 동기: 그래프 신경망은 그래프 구조의 적대적 섭동에 취약하다.
• 목표: 정 perturbed 그래프를 정리하면서 훈련하는 강건한 GNN를 개발한다.
• 접근법: 내재 그래프 속성(저랭크, 희소성, 특징 스무딩)을 활용하여 깨끗한 인접 행렬을 학습하고 GNN 매개변수를 최적화한다.
• 기여: 오염 공격 하에서 깨끗한 그래프와 강건한 GNN을 함께 학습하는 통합 프레임워크(Pro-GNN).

제안 방법

• 손상된 A에서 깨끗한 인접 행렬 S를 학습하되 저랭크와 희소성을 촉진하기 위해 핵 노름과 L1 노름(|S|_* 및 |S|_1)을 사용하고, S를 A에 가깝고 대칭적으로 유지한다.
• 연결된 노드에서 특징이 비슷하도록 특징 스무스니스 항 Ls = tr(X^T L_hat X) 를 도입하고, L_hat은 S의 정규화 라플라시안이다.
• 결합 목적 함수 형식: L = ||A-S||_F^2 + alpha||S||_1 + beta||S||_* + gamma L_GNN + lambda tr(X^T L_hat X).
• S를 고정한 채 GNN 매개변수 θ를 업데이트하고(교대 최적화), 비미분 노름에 대한 proximal 단계로 그래프 S를 업데이트한다.
• L1 및 핵 노름에 대한 proximal 연산자 적용 후, S를 가능구역(대칭성, 값의 범위 [0,1])으로 투영한다.
• S와 θ를 반복적으로 업데이트하는 엔드-투-엔드 훈련 알고리즘(Algorithm 1)을 제공한다.

실험 결과

연구 질문

• RQ1 Pro-GNN이 비표적, 표적, 무작위 등의 다양한 그래프 적대 공격에 대해 방어할 수 있는가?
• RQ2 그래프와 GNN을 함께 학습하는 것이 그래프를 두 단계로 정리한 후 학습하는 것보다 강건성을 향상시키는가?
• RQ3 저랭크, 희소성, 특징 스무딩 제약이 방어 성능에 어떤 영향을 주는가?
• RQ4 학습된 그래프 S가 레이블이 없는 노드의 분류를 perturbation 하에서도 향상시키는 데 유용한가?

주요 결과

• Pro-GNN이 여러 실제 그래프에서 심한 섭동 아래에서도 최신 방법보다 현저히 더 나은 방어 성능을 보인다.
• 깨끗한 그래프와 GNN을 함께 학습하는 것이 두 단계 전처리 방식보다 더 나은 결과를 제공한다.
• 저랭크, 희소성, 특징 스무스닝 특성을 활용하여 적대적 구조를 억제하면서 태스크 관련 연결은 보존한다.
• Cora, Citeseer, PubMed, Polblogs에서 비표적 및 표적 공격에 대한 강건성을 입증하며 GCN, GAT, RGCN, GCN-Jaccard, GCN-SVD 등과 비교해 우수한 성능을 보인다.
• 특징 스무스니스 항이 없는 변형(Pro-GNN-fs)의 실험은 방어 효과에서 Ls의 중요성을 확인시켜 준다.