[논문 리뷰] GraphDefense: Towards Robust Graph Convolutional Networks

Xiaoyun Wang, Xuanqing Liu외 1명|arXiv (Cornell University)|2019. 11. 11.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 22

한 줄 요약

이 논문은 그래프 컬러네이션 네트워크(GCNs)에 대한 구조적 적대적 공격에 강건한 방어 방법인 GraphDefense를 제안한다. 이 방법은 정제된 그래프 구조와 변형된 그래프 구조를 동시에 학습시켜, 소규모 및 대규모 그래프, 예를 들어 Reddit와 같은 그래프에서도 최신 기술 수준의 강건성을 달성한다. 또한 높은 레이블 비율이 필요 없이 준지도 학습의 효율성과 일반화 능력을 유지한다.

ABSTRACT

In this paper, we study the robustness of graph convolutional networks (GCNs). Despite the good performance of GCNs on graph semi-supervised learning tasks, previous works have shown that the original GCNs are very unstable to adversarial perturbations. In particular, we can observe a severe performance degradation by slightly changing the graph adjacency matrix or the features of a few nodes, making it unsuitable for security-critical applications. Inspired by the previous works on adversarial defense for deep neural networks, and especially adversarial training algorithm, we propose a method called GraphDefense to defend against the adversarial perturbations. In addition, for our defense method, we could still maintain semi-supervised learning settings, without a large label rate. We also show that adversarial training in features is equivalent to adversarial training for edges with a small perturbation. Our experiments show that the proposed defense methods successfully increase the robustness of Graph Convolutional Networks. Furthermore, we show that with careful design, our proposed algorithm can scale to large graphs, such as Reddit dataset.

연구 동기 및 목표

• 그래프 구조와 노드 특징에서의 적대적 편향에 대한 GCN의 취약성을 해결하기 위해.
• 높은 레이블 비율이 필요 없이 준지도 학습의 효율성을 유지하는 방어 기법을 개발하기 위해.
• 대규모 그래프에서의 인덕티브 그래프 학습 설정(예: GraphSAGE)에서 효과적인 적대적 훈련을 가능하게 하기 위해.
• 특징에 대한 적대적 훈련과 간선에 대한 적대적 훈련 간의 등가성을 탐색하여 강건성을 향상시키기 위해.

제안 방법

• 반복적 PGD 스타일 공격를 사용하여 간선과 노드 특징 양쪽에 대해 적대적 훈련을 수행하는 GraphDefense 방식을 제안한다.
• 정제된 데이터와 투영된 기울기 하강(PGD)을 통해 간선 또는 특징에 대해 생성된 적대적 예제 사이를 번갈아가며 학습하는 공동 훈련 전략을 도입한다.
• 작은 편향 하에서 특징에 대한 적대적 훈련이 간선에 대한 적대적 훈련과 등가임을 입증하여 더 빠른 훈련을 가능하게 한다.
• 인덕티브 및 트랜수드티브 작업 모두에서 모델의 일반화 능력을 유지하는 수정된 훈련 루프를 사용하여 준지도 학습 설정 내에서 적용한다.
• 메모리 및 계산 오버헤드를 줄이기 위해 GraphSAGE에서 이웃 샘플링을 활용하여 대규모 그래프(예: Reddit)로의 적대적 훈련을 스케일링한다.
• 청결한 예제와 적대적 예제를 균형 있게 조절하기 위해 가중치 손실 함수를 사용하며, 최적 성능 확보를 위한 초모수 민감도 분석을 수행한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 그래프 컬러네이션 네트워크에 효과적으로 적용되어 구조적 편향 공격에 대비할 수 있는가?
• RQ2 노드 특징에 대한 적대적 훈련과 간선에 대한 적대적 훈련 간의 강건성 및 효율성은 어떻게 비교되는가?
• RQ3 GraphDefense는 높은 레이블 비율이 필요 없이 대규모 인덕티브 그래프 학습 작업(예: Reddit)에서도 높은 성능을 유지할 수 있는가?
• RQ4 강건성과 정확도를 고려할 때, 훈련 중 적대적 예제와 청결한 예제의 최적 비율은 무엇인가?

주요 결과

• GraphDefense는 화이트박스 구조적 공격에 대해 GCN의 강건성을 크게 향상시켰다. 300번의 간선 공격 이후 Reddit에서 69.69%의 정확도를 달성했으며, 정제된 GCN는 35.31%에 그쳤다.
• 특징에 대한 적대적 훈련은 간선 기반 적대적 훈련과 비교해 유사한 성능을 보였으며, 특징 공격 하에서 Cora에서 51%의 정확도를 기록하여 기존 기준 방법을 능가했다.
• 이 방법은 대규모 그래프로 효과적으로 스케일링된다: GraphSAGE에 GraphDefense를 적용한 결과, 50번의 간선 공격 후에도 0.8391의 정확도를 유지했으며, 특징 전용 적대적 훈련(0.8406)과 정제된 모델보다 뛰어났다.
• 훈련 중 적대적 예제와 청결한 예제의 비율이 매우 중요하다. 너무 많은 적대적 예제가 포함되면 성능이 떨어지며, Cora에서 100개의 청결한 예제와 400개의 적대적 예제를 사용한 경우 정확도가 0.622로 떨어졌다.
• GraphDefense는 인덕티브 설정으로도 잘 일반화된다. 대규모 인덕티브 데이터셋인 Reddit에서의 강력한 성능을 통해 특징 전용 및 간선 전용 적대적 훈련을 모두 능가했다.