[논문 리뷰] On the Robustness of Graph Neural Diffusion to Topology Perturbations

Yang Song, Qiyu Kang외 3명|arXiv (Cornell University)|2022. 09. 16.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

이 논문은 연속적인 확산 과정을 기반으로 한 일반적인 그래프 신경미분방정식(PDE) 프레임워크를 제안하며, 그래프 신경미분방정식이 표준 GNN보다 구조적 변형에 더 강건하다는 것을 입증한다. 거리 구조의 변화에 대해 열 반그룹의 안정성을 활용함으로써, 기준 데이터셋에서 강건한 성능을 달성하였으며, 이는 이론적 및 실증적 증거에 의해 적대적 간선 및 노드 공격에 대한 저항성에 기반한다.

ABSTRACT

Neural diffusion on graphs is a novel class of graph neural networks that has attracted increasing attention recently. The capability of graph neural partial differential equations (PDEs) in addressing common hurdles of graph neural networks (GNNs), such as the problems of over-smoothing and bottlenecks, has been investigated but not their robustness to adversarial attacks. In this work, we explore the robustness properties of graph neural PDEs. We empirically demonstrate that graph neural PDEs are intrinsically more robust against topology perturbation as compared to other GNNs. We provide insights into this phenomenon by exploiting the stability of the heat semigroup under graph topology perturbations. We discuss various graph diffusion operators and relate them to existing graph neural PDEs. Furthermore, we propose a general graph neural PDE framework based on which a new class of robust GNNs can be defined. We verify that the new model achieves comparable state-of-the-art performance on several benchmark datasets.

연구 동기 및 목표

• 표준 GNN의 핵심 취약점인 적대적 구조적 변형에 대한 그래프 신경미분방정식의 강건성에 대한 연구.
• 작은 그래프 구조 변화 하에서 그래프 확산 과정의 안정성에 대한 이론적 기초 수립.
• 새로운 강건한 GNN 아키텍처 설계를 가능하게 하는 일반적인 PDE 기반 프레임워크 개발.
• 제안된 모델이 적대적 공격에 저항하면서도 최신 기술 수준의 성능을 달성하는지 확인

제안 방법

• 논문은 그래프에서의 확산을 연속적 과정으로 수식화하며, 리만 다양체에서의 열 확산과 유사성을 도입한다.
• 작은 그래프 라플라스 행렬 변화에 대해 열 반그룹의 이론적 안정성을 확립하고, 이를 구조적 변화에 대한 강건성과 연결한다.
• 이 프레임워크는 간선 유지 흐름인 평균 곡률 흐름과 벨트라미 흐름과 같은 일반화된 흐름으로 열 흐름을 일반화하여, 확산 과정 중에도 구조적 통합성을 유지한다.
• 이러한 일반화된 흐름에서 유도된 새로운 그래프 신경미분방정식의 클래스를 도입하여, 더 안정적이고 강건한 메시지 전달을 가능하게 한다.
• 시간에 따라 변하는 및 시간에 무관한 라플라스 연산자를 사용하여 동적 그래프 변형을 모델링하고 시스템의 민감도를 분석한다.
• 기존 GNN 및 방어 방법과의 비교를 통해 표준 기준 데이터셋에서 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 왜 그래프 신경미분방정식은 표준 GNN보다 구조적 변형에 더 강건한가?
• RQ2 리만 다양체에서의 열 반그룹 안정성은 구조 변화 하에서 이산적 그래프 구조로 어떻게 번역되는가?
• RQ3 평균 곡률 및 벨트라미 흐름과 같은 일반화된 확산 흐름은 클래스 간 간선을 유지하고 강건성을 향상시킬 수 있는가?
• RQ4 기존 GNN과 비교해 볼 때, 제안된 PDE 기반 프레임워크는 적대적 공격 하에서도 얼마나 높은 성능을 유지하는가?
• RQ5 시간에 따라 변하는 또는 변형된 라플라스 연산자 하에서 그래프 신경미분방정식의 강건성에 대해 어떤 이론적 보장이 가능할 수 있는가?

주요 결과

• 작은 그래프 거리 구조 변화에 대해 열 반그룹의 안정성 덕분에 그래프 신경미분방정식은 내재된 강건성을 보인다.
• 이론적 분석 결과, 그래프 라플라스 연산자의 변형은 해의 유한한 편차를 유도하며, 오차는 ρ>0 인 경우 O(e^{-ρt}∫₀ᵗε(τ)dτ) 의 형태로 증가한다.
• 평균 곡률 및 벨트라미 흐름을 통합한 제안된 일반화된 PDE 프레임워크는 확산 과정 중에도 클래스 간 간선을 유지하여 구조적 강건성을 향상시킨다.
• 실증 결과는 새로운 모델이 Cora, PubMed, Citeseer 와 같은 노드 분류 기준 데이터셋에서 비교적 또는 최신 기술 수준의 성능을 달성함을 확인한다.
• 모델들은 공격 유형이 추가 또는 수정 공격이어도 강력한 저항성을 보이며, 비-PDE 기반 GNN보다 적대적 환경에서 뛰어난 성능을 보인다.
• 시간에 무관한 경우에도 이 프레임워크는 표준 GNN보다 측정 가능한 강건성 향상을 보이며, 이론적 통찰의 타당성을 입증한다.