[논문 리뷰] EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks

Runlin Lei, Zhen Wang외 3명|arXiv (Cornell University)|2022. 05. 27.

Advanced Graph Neural Networks인용 수 15

한 줄 요약

EvenNet는 짝수다항식 그래프 필터를 통해 홀수단계 이웃을 무시함으로써 강건성을 향상시키는 스펙트럼적 그래프 신경망이다. 이는 동형성 및 이형성 그래프 간에서 뛰어난 일반화 성능을 보이며, 추가 계산 비용 없이도 기존 모델보다 구조적 공격에 더 강건하다. 표준 노드 분류 작업에서도 경쟁력 있는 성능을 유지를 한다.

ABSTRACT

Graph Neural Networks (GNNs) have received extensive research attention for their promising performance in graph machine learning. Despite their extraordinary predictive accuracy, existing approaches, such as GCN and GPRGNN, are not robust in the face of homophily changes on test graphs, rendering these models vulnerable to graph structural attacks and with limited capacity in generalizing to graphs of varied homophily levels. Although many methods have been proposed to improve the robustness of GNN models, most of these techniques are restricted to the spatial domain and employ complicated defense mechanisms, such as learning new graph structures or calculating edge attentions. In this paper, we study the problem of designing simple and robust GNN models in the spectral domain. We propose EvenNet, a spectral GNN corresponding to an even-polynomial graph filter. Based on our theoretical analysis in both spatial and spectral domains, we demonstrate that EvenNet outperforms full-order models in generalizing across homophilic and heterophilic graphs, implying that ignoring odd-hop neighbors improves the robustness of GNNs. We conduct experiments on both synthetic and real-world datasets to demonstrate the effectiveness of EvenNet. Notably, EvenNet outperforms existing defense models against structural attacks without introducing additional computational costs and maintains competitiveness in traditional node classification tasks on homophilic and heterophilic graphs.

연구 동기 및 목표

• 테스트 그래프에서 동형성 변화에 따른 GNN의 열악한 일반화 문제를 해결하기 위해.
• 엣지 어텐션이나 그래프 재가중치와 같은 복잡한 공간 도메인 방어 기법에 의존하지 않고도 스펙트럼 GNN의 강건성을 향상시키기 위해.
• 균형 이론에서 이끌어낸 이론적 통찰을 바탕으로 다양한 동형성 수준에서 일반화 가능한 간단하고 효과적인 스펙트럼 GNN을 설계하기 위해.
• 홀수단계 이웃을 배제함으로써 동형성 및 이형성 환경 모두에서 모델의 강건성이 향상됨을 검증하기 위해.

제안 방법

• 홀수단계 이웃의 메시지를 배제하는 짝수다항식 그래프 필터를 기반으로 한 스펙트럼 GNN인 EvenNet를 제안한다.
• 균형 이론에서 유도된 모델로, 유일하게 짝수차 상호작용(예: 두 단계 경로)만 유지되어 강건성이 향상된다.
• 다양한 동형성 수준에서 안정성과 일반화를 확보하기 위해 필터 계수에 대칭 제약 조건을 적용한다.
• 스펙트럼 도메인에서 필터 성능을 평가하기 위해 스펙트럼 회귀 손실(Spectral Regression Loss, SRL)을 도입하며, 필터 형상과 그래프의 동형성 간의 연결 고리를 설정한다.
• 필터 계수에 PPR 유사 초기화를 사용하고, 최적의 성능를 위해 α 및 K와 같은 하이퍼파라미터를 튜닝한다.
• 추가 학습 가능한 레이어나 어텐션 메커니즘 없이 단순한 아키텍처를 사용하여 계산 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 홀수단계 이웃을 배제함으로써 스펙트럼 GNN의 구조적 공격에 대한 강건성이 향상되는가?
• RQ2 학습 및 테스트 그래프 간의 동형성 갭이 GNN의 일반화에 어떤 영향을 미치며, 이를 완화할 수 있는가?
• RQ3 전체 차수 항을 포함한 필터와 비교해 짝수차 항으로 제한된 필터가 동형성 및 이형성 그래프 간에서 더 잘 일반화되는가?
• RQ4 간단한 스펙트럼 GNN이 복잡한 공간 도메인 방어 기법보다 구조적 공격에 대한 방어에서 슈퍼리오르한 성능를 보일 수 있는가?

주요 결과

• EvenNet는 ogbn-arxiv에서 비대상 구조적 공격에 대해 최신 기준 방어 성능을 기록하며, EGCNGuard 및 GCN보다 더 낮은 학습 시간으로 슈퍼리오르다.
• grb-cora 및 grb-citeseer 데이터셋에서 EvenNet는 그래프 주입 공격(GIA) 상황에서도 강건성을 유지하며, 각각 TDGIA+HAO 조건에서 77.23% 및 70.85%의 정확도를 기록했다.
• MinMax 공격 조건에서 EvenNet는 chameleon 데이터셋에서 52.87% ± 1.88의 정확도를 기록했으며, GPRGNN(50.42%) 및 H2GCN(51.42%)를 모두 초월했다.
• EvenNet는 표준 노드 분류 작업에서도 경쟁력 있는 성능를 유지하며, PGD+HAO 공격 조건에서 grb-cora 데이터셋에서 76.24%의 정확도를 기록했고, EGCNGuard(75.50%)를 능가했다.
• 이러한 성능는 최소한의 계산 오버헤드로 달성되었으며, ogbn-arxiv에서 EvenNet는 에포크당 0.38초의 학습 시간을 기록했고, EGCNGuard의 1.181초보다 훨씬 빠르다.
• 이론적 분석을 통해 짝수다항식 필터가 동형성 이동에 더 강건함을 확인하였으며, 홀수단계 이웃을 배제하는 설계 선택의 타당성을 검증하였다.