[논문 리뷰] GARNET: Reduced-Rank Topology Learning for Robust and Scalable Graph Neural Networks

Chenhui Deng, Xiuyu Li외 2명|arXiv (Cornell University)|2022. 01. 30.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

GARNET은 가중 스펙트럴 임bedding과 확률적 그래픽 모델 기반 정련을 통해 감소 질량의 청소된 그래프 구조를 학습함으로써 확장 가능한 스펙트럴 방법으로, GNN의 강건성을 향상시킨다. 최신 기법 대비 최대 10.23% 높은 적대적 정확도와 14.7배 빠른 훈련 속도를 달성하며, 중요한 그래프 구조를 효과적으로 유지하고 수백만 개 노드를 포함한 대규모 그래프로도 스케일링이 가능하다.

ABSTRACT

Graph neural networks (GNNs) have been increasingly deployed in various applications that involve learning on non-Euclidean data. However, recent studies show that GNNs are vulnerable to graph adversarial attacks. Although there are several defense methods to improve GNN robustness by eliminating adversarial components, they may also impair the underlying clean graph structure that contributes to GNN training. In addition, few of those defense models can scale to large graphs due to their high computational complexity and memory usage. In this paper, we propose GARNET, a scalable spectral method to boost the adversarial robustness of GNN models. GARNET first leverages weighted spectral embedding to construct a base graph, which is not only resistant to adversarial attacks but also contains critical (clean) graph structure for GNN training. Next, GARNET further refines the base graph by pruning additional uncritical edges based on probabilistic graphical model. GARNET has been evaluated on various datasets, including a large graph with millions of nodes. Our extensive experiment results show that GARNET achieves adversarial accuracy improvement and runtime speedup over state-of-the-art GNN (defense) models by up to 13.27% and 14.7x, respectively.

연구 동기 및 목표

• 모서리 없는 변화로도 영향을 미치는 엣지 조작을 통한 그래프 적대적 공격에 취약한 GNN의 문제를 해결하기 위해.
• 기존의 저질량 방어 기법이 청소된 그래프 구조를 악화시키고 대규모 그래프에서 높은 계산 비용과 메모리 사용량을 유발하는 한계를 극복하기 위해.
• 필수적인 그래프 토폴로지를 유지하면서도 악성 구성요소를 제거하는 확장 가능하고 효율적이며 강건한 방어 메커니즘을 개발하기 위해.
• 동질성 가정이 필요 없이 동질성 및 이질성 그래프 모두에서 효과적인 GNN 훈련을 가능하게 하기 위해.

제안 방법

• 접근 행렬에서 유도된 가중 스펙트럴 임베딩을 기반으로, 적대적 편향에 내성이 있는 기본 그래프를 구축한다.
• 절단된 특이값 분해(TSVD)를 적용하여 핵심 구조 정보를 유지하는 저질량 스펙트럴 표현을 확보한다.
• 노드 임베딩 간의 조건부 의존성에 기반해, 비핵심 또는 해로운 엣지를 식별하고 제거하기 위해 확률적 그래픽 모델(PGM)을 사용한다.
• 노드 간 조건부 의존도 점수가 낮은 엣지를 제거하여, 희소하고 고품질의 그래프를 도출함으로써 후속 GNN 훈련을 위한 기반을 마련한다.
• 밀도 있는 인접 행렬을 사용하지 않고 정련된 그래프를 GNN 파이프라인에 통합하여 효율적인 훈련을 가능하게 한다.
• 이중 단계 프로세스를 활용한다: (1) 스펙트럴 임베딩을 통한 기본 그래프 구축, (2) PGM를 통한 엣지 정련을 통한 강건성 향상.

실험 결과

연구 질문

• RQ1 감소 질량의 스펙트럴 방법은 유용한 토폴로지를 손상시키지 않으면서도, 적대적 엣지를 제거하고 청소된 그래프 구조를 효과적으로 복원할 수 있는가?
• RQ2 GARNET의 PGM 기반 그래프 정련은 기준 방어 기법 대비 적대적 강건성을 어떻게 향상시키는가?
• RQ3 GARNET은 수백만 개의 노드를 포함한 대규모 그래프로 얼마나 잘 스케일링되는가? 기존의 저질량 방어 기법과 비교해 효율성은 어떠한가?
• RQ4 GARNET은 동질성 가정이 필요한 기존 기법들과 달리, 동질성 및 이질성 그래프 모두에서 성능을 유지하는가?
• RQ5 기본 그래프 구축 단계와 정련 단계가 최종 모델 정확도에 미치는 영향은 어떠한가?

주요 결과

• GARNET은 벤치마크 데이터셋에서 최신 기준 GNN 방어 모델 대비 최대 10.23% 높은 적대적 정확도를 확보한다.
• GARNET은 기존의 저질량 방어 기법인 TSVD 및 ProGNN 대비 종합 훈련 시간에서 최대 14.7배의 속도 향상을 달성한다.
• 200만 개 이상의 노드를 포함하는 ogbn-products 데이터셋에서 GARNET은 종합 훈련을 4시간 내로 완료하며, GNNGuard 대비 속도에서 3배 빠르게 성능을 냈다.
• GARNET은 청소된 정확도를 유지한다(예: Cora에서 76.05%), 同시에 기준 모델보다 훨씬 높은 적대적 정확도(74.97%)를 달성한다.
• 제거 분석 결과, 기본 그래프만 사용할 경우 대비 그래프 정련 단계가 약 2%의 정확도 향상을 기여함을 확인했다.
• 시각화 결과, GARNET이 서로 다른 레이블의 노드를 연결하는 적대적 엣지를 성공적으로 제거하여, 타겟 노드 주변의 국소적 동질성을 복원함을 확인했다.