[논문 리뷰] Graph Robustness Benchmark: Benchmarking the Adversarial Robustness of Graph Machine Learning

Qinkai Zheng, Xu Zou외 6명|arXiv (Cornell University)|2021. 11. 08.

Advanced Graph Neural Networks참고 문헌 50인용 수 9

한 줄 요약

이 논문은 그래프 기계학습(GML) 모델의 적대적 내성 평가를 위한 확장성 있고 통합적이며 재현 가능한 프레임워크인 그래프 내성 벤치마크(GRB)를 소개한다. GRB는 모듈러한 구현, 다양한 스케일의 데이터셋, 정교화된 시나리오 간 통일된 프로토콜을 통해 공격 및 방어 평가를 표준화함으로써 공정하고 대규모의 벤치마킹과 공개 리더보드를 가능하게 하여 내성적인 GML 연구를 가속화한다.

ABSTRACT

Adversarial attacks on graphs have posed a major threat to the robustness of graph machine learning (GML) models. Naturally, there is an ever-escalating arms race between attackers and defenders. However, the strategies behind both sides are often not fairly compared under the same and realistic conditions. To bridge this gap, we present the Graph Robustness Benchmark (GRB) with the goal of providing a scalable, unified, modular, and reproducible evaluation for the adversarial robustness of GML models. GRB standardizes the process of attacks and defenses by 1) developing scalable and diverse datasets, 2) modularizing the attack and defense implementations, and 3) unifying the evaluation protocol in refined scenarios. By leveraging the GRB pipeline, the end-users can focus on the development of robust GML models with automated data processing and experimental evaluations. To support open and reproducible research on graph adversarial learning, GRB also hosts public leaderboards across different scenarios. As a starting point, we conduct extensive experiments to benchmark baseline techniques. GRB is open-source and welcomes contributions from the community. Datasets, codes, leaderboards are available at https://cogdl.ai/grb/home.

연구 동기 및 목표

• 그래프 기계학습(GML) 모델에서 적대적 내성에 대한 공정하고 표준화된 평가의 부족을 해결한다.
• 기존의 벤치마크에서 나타나는 한계—비현실적인 공격/방어 시나리오, 일관되지 않은 평가 프로토콜, 낮은 확장성—을 극복한다.
• 연구자가 평가 파이프라인을 다시 설계하지 않고도 내성적인 GML 모델 개발에 집중할 수 있도록 모듈러하고 재현 가능한 프레임워크를 제공한다.
• 연구 진전을 추적하고 그래프 적대적 학습 분야에서 개방적이고 재현 가능한 연구를 촉진하기 위해 공개 리더보드를 구축한다.
• 일관되고 확장 가능하며 정교화된 설정에서 실제 시나리오—그래프 수정 및 그래프 주입—에 기반한 평가를 표준화한다.

제안 방법

• 공격자 및 방어자의 능력을 체계화하여 그래프 수정(엣지/노드 훼손)과 그래프 주입(악성 노드 추가)이라는 두 가지 정교화된 공격 시나리오를 설계한다.
• 다양한 그래프 크기(소형, 중형, 대형, 전용 크기)에 걸쳐 확장성 있고 내성에 중점을 둔 데이터셋 분할 기법을 개발하여 공격/방어의 난이도 변화를 반영한다.
• GitHub에 호스팅된 모듈러한 코드 프레임워크를 구현하여 다양한 GNN 모델, 공격 및 방어 방법을 일관된 인터페이스로 지원한다.
• 모든 시나리오 간 평가 프로토콜을 통일하여 표준화된 지표(정확도, 3분 정확도, 가중 정확도)와 실험 설정을 포함한다.
• 자동화된 데이터 처리 및 평가 파이프라인을 통합하여 재현 가능한 실험을 간소화한다.
• 지속적으로 업데이트되는 공개 리더보드를 운영하여 다양한 공격/방어 구성 및 데이터셋에서의 성능를 추적한다.

실험 결과

연구 질문

• RQ1 기존의 GNN 모델 및 방어 방법은 그래프 기계학습에서 표준화되고 현실적인 적대적 공격 시나리오 하에서 어떻게 성능을 내는가?
• RQ2 모델 규모와 그래프 크기의 변화가 적대적 내성에 미치는 영향은 무엇이며, 이는 다양한 공격 유형에 따라 어떻게 달라지는가?
• RQ3 현재의 방어 메커니즘은 블랙박스, 인덕티브, 회피 공격 설정에서 얼마나 성능을 유지하는가?
• RQ4 GRB의 통합 평가 프로토콜은 다양한 GNN 아키텍처, 공격 및 방어 방법 간의 공정하고 재현 가능한 비교를 어떻게 가능하게 하는가?
• RQ5 공개 리더보드의 벤치마킹 결과에서 그래프 기계학습 분야의 최신 내성 기술에 관해 어떤 통찰을 얻을 수 있는가?

주요 결과

• GRB는 데이터셋, 분할 기법, 평가 지표를 표준화함으로써 다양한 GNN 모델, 공격 및 방어 방법 간 일관되고 공정한 평가를 가능하게 한다.
• 기본 모델은 적대적 공격 하에서 성능 저하가 심각하게 나타나며, 예를 들어 FGSM 공격 하에서 H-scale 데이터셋에서 평균 정확도가 청소된 상태(75.84%)에서 72.14%로 감소한다.
• 3분 정확도 지표는 공격 하에서 더 빠른 성능 저하를 드러내며, H-scale 데이터셋에서 FGSM 공격 하에 평균 성능이 71.93%로 떨어져 시간 제약이 있는 추론 환경에서의 취약성을 보여준다.
• 가중 정확도 지표는 강력한 공격에서 가장 심각한 성능 저하를 보이며, F-scale 데이터셋에서 FGSM 공격 하에 성능이 60.54%로 떨어져 클래스 불균형에 민감함을 확인한다.
• 내성 기법(예: RobustGCN, ProGNN)을 사용해 훈련한 모델은 표준 GNN보다 공격 하에서도 더 높은 정확도를 유지하여 뛰어난 내성성을 보인다.
• 공개 리더보드는 내성 성능가 공격 시나리오와 모델 아키텍처에 크게 의존하며, 모든 설정에서 단일 방법이 우세하지 않음을 보여준다.