[논문 리뷰] Graph Neural Networks Inspired by Classical Iterative Algorithms

Yongyi Yang, Tang Liu외 7명|arXiv (Cornell University)|2021. 03. 10.

Advanced Graph Neural Networks참고 문헌 59인용 수 13

한 줄 요약

이 논문은 메시지 전파 GNN과 프록시멀 그래디언트 디센트, 반복 가중 최소 제곱법(IRLS)을 통합하여 강건하고 투명한 아키텍처를 만드는 새로운 그래프 신경망 프레임워크인 TWIRLS를 제안한다. 고전적 반복 알고리즘을 GNN 레이어로 전개함으로써 TWIRLS는 과도한 스무딩에 대한 면역성을 확보하고 장거리 의존성을 다루며, 엣지 불확실성 하에서도 성능을 유지하며, 적대적 공격, 이형성, 장거리 의존성 그래프에서 최신 기술(SOTA) 모델들을 능가한다.

ABSTRACT

Despite the recent success of graph neural networks (GNN), common architectures often exhibit significant limitations, including sensitivity to oversmoothing, long-range dependencies, and spurious edges, e.g., as can occur as a result of graph heterophily or adversarial attacks. To at least partially address these issues within a simple transparent framework, we consider a new family of GNN layers designed to mimic and integrate the update rules of two classical iterative algorithms, namely, proximal gradient descent and iterative reweighted least squares (IRLS). The former defines an extensible base GNN architecture that is immune to oversmoothing while nonetheless capturing long-range dependencies by allowing arbitrary propagation steps. In contrast, the latter produces a novel attention mechanism that is explicitly anchored to an underlying end-to-end energy function, contributing stability with respect to edge uncertainty. When combined we obtain an extremely simple yet robust model that we evaluate across disparate scenarios including standardized benchmarks, adversarially-perturbated graphs, graphs with heterophily, and graphs involving long-range dependencies. In doing so, we compare against SOTA GNN approaches that have been explicitly designed for the respective task, achieving competitive or superior node classification accuracy. Our code is available at https://github.com/FFTYYY/TWIRLS.

연구 동기 및 목표

• 메시지 전파 GNN의 핵심적 한계인 과도한 스무딩, 부자연스러운 엣지에 대한 민감성, 이형성 또는 적대적 공격 하에서의 열악한 성능를 해결한다.
• 고전적 반복 최적화 알고리즘에 기반한 투명하고 원리적인 GNN 아키텍처를 개발하여 해석 가능성과 일반화 능력을 향상시킨다.
• 에너지 기반 최적화를 통해 전파 및 어텐션 메커니즘을 통합하여 이론적 보장을 갖춘 통합 설계를 이룬다.
• 특수한 작업에 맞춘 아키텍처 조정 없이도 표준 벤치마크, 적대적 편향, 이형성, 장거리 의존성 등 다양한 그래프 상황에서 경쟁력 있거나 슈퍼리어한 성능를 달성한다.

제안 방법

• 프록시멀 그래디언트 디센트 반복을 GNN 백본으로 전개하여 과도한 스무딩 없이도 임의의 전파 단계를 허용하며, 그래프 정규화 에너지 함수를 사용한다.
• IRLS 기반 어텐션을 GNN 레이어에 통합하여, 어텐션 가중치가 원리적인 에너지 함수를 최소화하는 재가중 함수에서 유도되도록 한다.
• 모든 아키텍처를 데이터 적합성과 그래프 스무딩을 균형 잡는 통합 목표 함수에 기반시켜 엣지 불확실성 하에서도 안정성을 확보한다.
• 각 레이어가 최적화 알고리즘의 한 반복에 해당하는 단일이고 종단 간 미분 가능한 프레임워크를 사용하여 투명하고 확장 가능한 학습을 가능하게 한다.
• IRLS 프레임워크를 활용해 엣지 편향에 대해 본질적으로 강건한 어텐션 메커니즘을 생성하며, 추가 파rameter나 히우리스틱이 필요로 하지 않는다.
• 프록시멀 GNN 백본과 IRLS 어텐션을 조합하여, 다양한 그래프 환경에서 성능를 유지하는 통합 모델인 TWIRLS를 구성한다.

실험 결과

연구 질문

• RQ1 고전적 반복 최적화 알고리즘에서 파생된 GNN 아키텍처가 장거리 의존성을 파악하면서도 과도한 스무딩에 강건한가?
• RQ2 IRLS 기반 어텐션을 GNN에 통합하면 엣지 불확실성 및 적대적 편향 하에서 성능가 향상이 어떻게 이루어지는가?
• RQ3 통합된 원리적인 에너지 함수가 성능를 희생시키지 않고 전파와 어텐션을 통합할 수 있는 정도는 어느 정도인가?
• RQ4 전개된 반복 알고리즘에 기반한 GNN 모델이 전용으로 적대적 공격에 강건하거나 이형성에 대응하도록 설계된 최신 기술(SOTA) 모델들을 능가하는가?
• RQ5 투명하고 최적화 기반의 GNN 설계가 작업에 맞는 아키텍처 수정 없이 다양한 그래프 상황에서 일반화 가능한가?

주요 결과

• 적대적 공격(20% 엣지 편향) 하에서 Cora에서 70.23%, Citeseer에서 70.63%의 정확도를 기록하며, GNNGuard 및 GNN-SVD와 같은 최신 기술 방어 기법들을 능가한다.
• 이형성 그래프(예: Actor, Cornell, Texas, Wisconsin)에서 네 개의 데이터셋 중 세 개에서 최신 기술 정확도를 확보하였으며, GCN, GAT, H₂GCN보다 일관되게 뛰어난 성능를 보였다.
• Amazon Co-Purchase 데이터셋에서 TWIRLS는 SSE 및 IGNN와 같은 전용 장거리 모델들을 능가하며, 임의의 전파 깊이에서도 안정적인 성능를 유지하였다.
• IRLS 기반 어텐션 메커니즘이 기본 TWIRLS 모델 대비 성능 향상을 크게 이끌었으며, 저형질성 및 적대적 환경에서 특히 두드러졌다.
• 많은 전파 레이어를 사용해도 높은 정확도를 유지하여, 프록시멀 그래디언트 디센트 백본 덕분에 과도한 스무딩에 면역임을 확인하였다.
• 제안된 프레임워크는 다양한 그래프 환경에서 잘 일반화되며, 각 특정 상황에 맞는 아키텍처 조정 없이도 경쟁력 있거나 슈퍼리어한 결과를 달성하였다.