[논문 리뷰] Benchmarking Graph Neural Networks

Vijay Prakash Dwivedi, Chaitanya K. Joshi외 4명|arXiv (Cornell University)|2020. 03. 02.

Advanced Graph Neural Networks참고 문헌 100인용 수 233

한 줄 요약

이 논문은 Graph Neural Networks(GNNs)를 위한 오픈 소스 모듈식 벤치마킹 프레임워크를 제시하며, 다양한 12-dataset 컬렉션, 공정 비교를 위한 고정 파라미터 예산, Laplacian 고유벡터를 이용한 그래프 위치 인코딩 탐구, 그리고 AQSOL 데이터세트의 도입을 포함합니다.

ABSTRACT

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

연구 동기 및 목표

• 다양한 현실 세계 및 수학 그래프에 걸친 GNN용 커뮤니티 표준의 공정한 벤치마킹 프레임워크를 확립한다.
• 고정 파라미터 예산 하에서 공정한 비교를 가능하게 하는 모듈식이며 재현 가능한 코드베이스(PyTorch/DGL)를 제공한다.
• 필수 수학 그래프와 실제 세계 타깃을 가진 AQSOL 분자 데이터세트를 포함하도록 데이터셋 모음을 확장한다.
• 프레임워크가 Laplacian 고유벡터를 사용한 그래프 위치 인코딩(PE)과 같은 GNN 설계에 대한 통찰을 어떻게 견인할 수 있는지 시연한다.

제안 방법

• PyTorch 및 DGL를 기반으로 데이터 파이프라인, GNN 계층/모델, 학습/평가, 재현성 스크립트를 포함하는 모듈식 GNN 벤치마킹 프레임워크를 도입한다.
• 실제 세계 및 수학적 도메인을 아우르는 12개의 중간 규모 그래프 데이터셋 모음(Table 1)을 제공한다.
• 두 개의 파라미터 예산(100k 및 500k)을 구현하여 총 파라미터 수에 관계없이 아키텍처의 공정한 비교를 가능하게 한다.
• 프레임워크의 사용 사례를 Laplacian 고유벡터를 추가한 노드 특성으로 그래프 위치 인코딩(PE)을 분석하여 시연한다.
• 데이터 전처리, 계층, 정규화 스킴에서 새로운 아이디어를 테스트하기 위해 프레임워크를 확장하는 방법을 설명한다.
• 중간 규모 데이터셋의 빠르고 안정적인 프로토타이핑을 위한 설계 선택을 논의한다.

실험 결과

연구 질문

• RQ1 고정 파라미터 예산 하에서 다양한 그래프 작업에 대해 어떤 GNN 아키텍처와 빌딩 블록이 best하게 작동하는가?
• RQ2 그래프 위치 인코딩이 실무 벤치마크에서 GNN의 성능과 표현력에 어떤 영향을 미칠 수 있는가?
• RQ3 벤치마크가 그래프 수준, 노드 수준, 엣지 수준 작업 전반에 걸쳐 서로 다른 GNN 범주(MP-GCNs vs WL-GNNs)와 데이터세트를 얼마나 구분하는가?
• RQ4 프레임워크가 새로운 GNN 아이디어, 정규화 스킴, 풀링 메커니즘의 탐사를 수용 및 가속할 수 있는가?

주요 결과

• 벤치마크 프레임워크는 GNN 아이디어를 프로토타이핑하고 집계, 표현력, 풀링, 정규화 및 강인성에 대해 연구하는 데 널리 사용되어 왔다.
• Lapla​​cian 고유벡터를 이용한 그래프 위치 인코딩이 MP-GCNs를 합성 데이터 및 실제 세계 데이터셋에서 개선되었으며, AQSOL 데이터셋도 포함한다.
• 해당 프레임워크는 PE 및 관련 GNN 개선에 관한 후속 연구를 촉발한 연구들을 촉진했다(Beaini et al., 2021; Wang et al., 2022; Lim et al., 2022; Kreuzer et al., 2021; Ying et al., 2021; Mialon et al., 2021).
• 업데이트된 프레임워크는 필수 수학 데이터셋과 AQSOL 분자 데이터셋을 추가하여 평가 시나리오를 확장한다.
• GitHub 저장소는 커뮤니티의 관심을 받아(2000+ 스타, 380+ 포크) 문헌에 인용되었으며 오픈 소스 인프라의 유용성을 보여준다.