[논문 리뷰] Adversarial Attacks on Graph Neural Networks via Meta Learning

Daniel Zügner, Stephan Günnemann|arXiv (Cornell University)|2019. 02. 22.

Adversarial Robustness in Machine Learning인용 수 368

한 줄 요약

논문은 메타 그래디언트를 활용하여 그래프를 하이퍼파라미터로 최적화하는 방식으로 노드 분류를 위한 그래프 신경망의 학습 시 poisoning 공격을 제시한다. 작고 제약된 그래프 섭동이 성능을 크게 저하시키고 모델 및 작업 간에 전달될 수 있음을 보여준다.

ABSTRACT

Deep learning models for graphs have advanced the state of the art on many tasks. Despite their recent success, little is known about their robustness. We investigate training time attacks on graph neural networks for node classification that perturb the discrete graph structure. Our core principle is to use meta-gradients to solve the bilevel problem underlying training-time attacks, essentially treating the graph as a hyperparameter to optimize. Our experiments show that small graph perturbations consistently lead to a strong decrease in performance for graph convolutional networks, and even transfer to unsupervised embeddings. Remarkably, the perturbations created by our algorithm can misguide the graph neural networks such that they perform worse than a simple baseline that ignores all relational information. Our attacks do not assume any knowledge about or access to the target classifiers.

연구 동기 및 목표

• Target 모델에 접근하지 못한 상태에서 그래프 신경망의 노드 분류에 대한 학습 시(poisoning) 공격을 시연한다.
• 그래프 구조를 최적화하는 하이퍼파라미터로 활용하는 메타 학습 기반 방법을 개발하여 공격 영향을 극대화한다.
• 작고 제약된 섭동이 성능 저하와 서로 다른 모델 및 작업으로의 전이를 야기함을 보여준다.

제안 방법

• 그래프를 학습 후 공격자 손실을 최대로 만들도록 그래프를 섭동하는 이중 최적화(bilevel optimization)로 poisoning을 형식화한다.
• 메타-그래디언트를 사용하여 그래프의 변화가 학습된 모델의 성능에 어떤 영향을 주는지 계산한다.
• 이산성을 완화하여 그래디언트 기반 업데이트를 가능하게 하고 희소성을 보존하기 위해 그리디 방식의 per-edge 점수 규칙을 적용한다.
• 대체 두 계층의 GCN 유사 모델을 사용하고 여러 데이터셋(Cora-ML, Citeseer, PolBlogs)에 대해 공격을 평가한다.
• 두 가지 공격자 손실을 고려한다: 학습 손실의 음수 및 자기 라벨링 손실의 음수(전이 학습 설정).
• 계산 부담을 줄이면서 공격 효과를 유지하는 1계 메타그래디언트 근사를 제공한다.

실험 결과

연구 질문

• RQ1 Poisoning 공격이 대상 모델에 접근하지 못하는 그래프에서 전체 노드 분류 성능을 저하시킬 수 있는가?
• RQ2 메타-그래디언트를 사용하여 학습 결과를 악화시키는 그래프 섭동을 효율적으로 식별할 수 있는가?
• RQ3 공격이 서로 다른 그래프 신경망 및 평가 작업(감독 및 비감독) 간에 전달되는가?

주요 결과

• 메타-그래디언트 기반 공격은 다양한 데이터셋과 모델에서 라벨이 없는 노드에 대한 오분류 비율을 크게 증가시킨다.
• 자기 학습 시너지(Meta-Self)는 테스트한 변형들 중에서 가장 강력한 성능 저하를 유도한다.
• 근사 메타그래디언트 방법(메모리 효율적)은 종종 기준선과 동등하거나 이를 능가하며 효과를 유지한다.
• 제한된 지식 시나리오(서브그래프)에서도 공격은 강력하며 보지 못한 모델로의 전달도 가능하다.
• 그래프 자체 기반의 기준선보다 성능을 낮출 수 있어 학습 동학이 주요 실패 벡터임을 강조한다.