[논문 리뷰] Do We Need Anisotropic Graph Neural Networks?

Shyam A. Tailor, Felix L. Opolka외 2명|arXiv (Cornell University)|2021. 04. 03.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 여섯 가지 다양한 벤치마크에서 GAT 및 PNA와 같은 최신 비등방성 모델을 능가하는 등방성 그래프 신경망인 효율적 그래프 컨볼루션(EGC)을 제안한다. 공간에 따라 변하는 적응형 필터를 사용함으로써, EGC는 O(E) 비등방성 모델보다 메모리(O(V))와 지연 시간이 더 낮은 데도 불구하고 더 높은 정확도를 달성하여, 성능을 위해 비등방성이 필수적이라는 일반적인 믿음에 도전한다.

ABSTRACT

Common wisdom in the graph neural network (GNN) community dictates that anisotropic models -- in which messages sent between nodes are a function of both the source and target node -- are required to achieve state-of-the-art performance. Benchmarks to date have demonstrated that these models perform better than comparable isotropic models -- where messages are a function of the source node only. In this work we provide empirical evidence challenging this narrative: we propose an isotropic GNN, which we call Efficient Graph Convolution (EGC), that consistently outperforms comparable anisotropic models, including the popular GAT or PNA architectures by using spatially-varying adaptive filters. In addition to raising important questions for the GNN community, our work has significant real-world implications for efficiency. EGC achieves higher model accuracy, with lower memory consumption and latency, along with characteristics suited to accelerator implementation, while being a drop-in replacement for existing architectures. As an isotropic model, it requires memory proportional to the number of vertices in the graph ($\mathcal{O}(V)$); in contrast, anisotropic models require memory proportional to the number of edges ($\mathcal{O}(E)$). We demonstrate that EGC outperforms existing approaches across 6 large and diverse benchmark datasets, and conclude by discussing questions that our work raise for the community going forward. Code and pretrained models for our experiments are provided at https://github.com/shyam196/egc.

연구 동기 및 목표

• 최신 성능을 내기 위해 비등방성 GNN이 필수적이라는 널리 퍼진 믿음을 도전하기 위해.
• 정확도는 비등방성 모델과 동일하거나 이를 초월하면서도 효율성을 향상시킬 수 있는 등방성 GNN 아키텍처를 설계하기 위해.
• 성능을 희생시키지 않고도 메모리와 지연 시간을 O(E)에서 O(V)로 줄일 수 있는가를 입증하기 위해.
• 기존 GNN 레이어의 즉각적인 대체품으로서 자원 효율성과 정확도가 뛰어난 솔루션을 제공하기 위해.
• 등방성 모델의 잠재력에 비추어 기존 벤치마크 데이터셋과 모델 설계 원칙을 재고할 것을 공동체에 촉구하기 위해.

제안 방법

• 노드별로 고유한 집합 가중치를 학습하기 위해 공간에 따라 변하는 적응형 필터를 사용하는 등방성 GNN인 효율적 그래프 컨볼루션(EGC)을 제안한다.
• 메시지 전달 메커니즘을 적용하여 메시지가 소스 노드에만 의존하도록 하여, O(E) 대신 O(V)의 메모리 소비를 달성한다.
• 지역 그래프 구조에 따라 적응하는 학습 가능한 필터 메커니즘을 도입하여, 비등방성 메시지 함수 없이도 표현력을 향상시킨다.
• EGC 레이어의 공간적 및 스펙트럼적 해석을 모두 지원하여 기존 GNN 이론에 기반한 설계를 확보한다.
• 추론 시 집합자 융합을 통해 지연 시간을 추가로 줄일 수 있으며, 오직 14%의 추가 오버헤드만을 유발한다.
• PyTorch Geometric와 같은 기존 GNN 프레임워크와 원활하게 통합되어 즉시 대체 가능한 형태로 제공된다.

실험 결과

연구 질문

• RQ1 비등방성 메시지 함수에 의존하지 않고도 등방성 GNN이 최신 성능을 달성할 수 있는가?
• RQ2 실제 환경에서 비등방성 GNN의 O(E) 메모리 및 지연 시간 오버헤드가 성능 향상에 비례하는가?
• RQ3 등방성 아키텍처 내에서 공간에 따라 변하는 적응형 필터가 비등방성 모델의 표현력과 동일하거나 이를 초월할 수 있는가?
• RQ4 특히 동질성 그래프인 실세계 그래프에서는 비등방성 모델의 이론적 표현력이 어느 정도 유의미한가?
• RQ5 단순한 아키텍처 혁신만으로도 정확도를 훼손하지 않고 모델 효율성을 크게 향상시킬 수 있는가?

주요 결과

• EGC는 전도성 및 인덕티브 설정을 포함한 여섯 가지 벤치마크 데이터셋에서 GAT과 PNA를 모두 능가하며, 모든 작업에서 더 높은 정확도를 기록한다.
• Arxiv 데이터셋에서 EGC-M는 단지 406만 8000개의 파라미터로 84.7%의 정확도를 달성했고, PNA는 1453만 3000개의 파라미터로 89.3%의 정확도를 기록하여 더 뛰어난 파라미터 효율성을 입증한다.
• Arxiv에서 EGC-M는 PNA 대비 최대 6.5배 메모리 소비를 줄이고 최대 6.7배 지연 시간을 감소시켰다. 이는 O(V) 메모리 스케일링 대비 O(E)에 기반한 PNA와의 비교에서 비롯된다.
• 모든 베이스라인보다 추론 지연 시간과 메모리 사용량이 낮으며, GPU 및 CPU 측정 결과가 상당한 효율성 향상을 확인한다.
• 집합자 융합은 성능을 유지하면서 오직 14%의 추가 오버헤드만을 발생시켜 실용적인 구현에 매우 낮은 비용으로 가능하게 한다.
• EGC는 PyTorch Geometric로 업스트림 되어 실용성과 기존 GNN 생태계와의 호환성이 확인되었다.