[논문 리뷰] Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification

Rakshith Sharma Srinivasa, Cao Xiao외 3명|arXiv (Cornell University)|2020. 06. 15.

Advanced Graph Neural Networks참고 문헌 29인용 수 13

한 줄 요약

FastGAT는 입력 그래프를 효과적 저항 기반 스펙트럴 스퍼티피케이션으로 정제하여 그래프 추론 네트워크(GAT)의 계산 복잡도를 노드 수에 대해 거의 선형으로 줄여 성능을 빠르게 한다. 이 방법은 이론적으로 GAT의 특징 표현을 유지하며, 정확도 손실이 최소화된 채로 학습 및 추론에서 최대 10배의 속도 향상을 이룬다. 이로 인해 기존 GAT가 메모리 제약으로 인해 실패하는 대규모 그래프, 예를 들어 Reddit에서도 GAT를 구동할 수 있게 되었다.

ABSTRACT

The attention mechanism has demonstrated superior performance for inference over nodes in graph neural networks (GNNs), however, they result in a high computational burden during both training and inference. We propose FastGAT, a method to make attention based GNNs lightweight by using spectral sparsification to generate an optimal pruning of the input graph. This results in a per-epoch time that is almost linear in the number of graph nodes as opposed to quadratic. We theoretically prove that spectral sparsification preserves the features computed by the GAT model, thereby justifying our algorithm. We experimentally evaluate FastGAT on several large real world graph datasets for node classification tasks under both inductive and transductive settings. FastGAT can dramatically reduce (up to extbf{10x}) the computational time and memory requirements, allowing the usage of attention based GNNs on large graphs.

연구 동기 및 목표

• 주의 기반 GNN의 높은 계산 비용, 특히 그래프 크기에 따라 제곱적으로 증가하는 복잡도를 해결하기 위해.
• 표준 GAT가 메모리가 부족하거나 너무 느려서 대규모 그래프에서 학습 및 추론이 불가능한 상황에서 GAT의 효율적 학습 및 추론을 가능하게 하기 위해.
• GAT를 초월해 다양한 주의 기반 GNN에 적용 가능한 일반적인 스퍼티피케이션 방법을 개발하기 위해.
• 스펙트럴 스퍼티피케이션이 GAT 모델이 학습한 핵심 특징 표현을 유지함을 이론적으로 입증하기 위해.
• 학습 중에 검증 성능을 기반으로 스퍼티피케이션 수준(에프실론)을 동적으로 조정하는 알고리즘을 설계하기 위해.

제안 방법

• 그래프의 연결성과 스펙트럴 성질을 유지하는 데 있어 간선의 중요도를 효과적 저항을 통해 측정한다.
• 스펙트럴 스퍼티피케이션을 적용하여 간선 수가 현저히 줄어든 하위 그래프를 생성하면서도 그래프의 스펙트럴 구조를 유지한다.
• 빠른 라플라시안 해법과 존슨-린든스트라우스 기반 근사법을 활용해 효과적 저항을 O(M log N) 시간 내에 계산한다. 여기서 M은 간선 수이다.
• 기존 GAT에서 스퍼티피케이션된 하위 그래프로 그래프를 교체함으로써 쌍별 주의 계산 수를 크게 줄인다.
• 검증 성능을 기반으로 에포크 수에 따라 스퍼티피케이션 수준(에프실론)을 동적으로 조정하는 적응형 알고리즘을 도입한다.
• 이론적 분석을 통해 스펙트럴 스퍼티피케이션이 GAT가 학습한 특징 표현을 유지함을 입증하여, 이 방법의 효과성을 정당화한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 효과적 저항 기반 그래프 스퍼티피케이션을 주의 기반 GNN에 적용해 성능 향상을 이룰 수 있는가?
• RQ2 스펙트럴 스퍼티피케이션이 GAT 모델이 학습한 핵심 특징 표현을 유지하는가?
• RQ3 제안된 방법이 실제 대규모 그래프에서 상당한 속도 향상(예: 10배)을 이끌어내면서도 경쟁 가능한 정확도를 유지할 수 있는가?
• RQ4 이 방법은 GAT를 초월해 다른 주의 기반 GNN 아키텍처에도 일반화 가능한가?
• RQ5 학습 중에 동적으로 스퍼티피케이션 수준을 조정하는 적응형 전략이 최적의 성능을 유지하는 데 성공할 수 있는가?

주요 결과

• FastGAT는 표준 GAT 대비 학습 시간을 최대 10배까지 줄였으며, 정확도 저하가 최소한이다.
• Reddit 데이터셋에서 FastGAT는 에포크당 7.73초 만에 F1 스코어 0.93를 달성했고, 표준 GAT는 메모리가 부족해 실패했다.
• Coauthor-Physics에서 스퍼티피케이션 수준을 163,334개 간선(에프실론 = 0.5)으로 줄였을 때도 전체 그래프 GAT와 비교해 유사한 성능을 유지했다.
• 적응형 스퍼티피케이션 알고리즘은 고정된 에프실론 기반 베이스라인과 동일한 학습 속도를 달성하여 다양한 데이터셋에서 뛰어난 안정성을 입증했다.
• FastGAT는 코사인 유사도 기반 주의 및 게이트드 주의 네트워크(Gated Attention Networks) 등 다른 주의 메커니즘으로도 일반화되어 있으며, 광범위한 적용 가능성을 보였다.
• 이론적 분석을 통해 스펙트럴 스퍼티피케이션이 GAT가 계산한 핵심 특징을 유지함을 확인하여, 이 방법의 타당성을 강력히 뒷받침했다.