[논문 리뷰] Open Graph Benchmark: Datasets for Machine Learning on Graphs

Weihua Hu, Matthias Fey외 6명|arXiv (Cornell University)|2020. 05. 02.

Advanced Graph Neural Networks참고 문헌 99인용 수 491

한 줄 요약

Open Graph Benchmark (OGB)은 표준화된 분할, 평가 지표, 엔드-투-엔드 파이프라인을 갖춘 다양한 대규모 그래프 데이터세트를 제공하여 확장 가능하고 재현 가능한 그래프 ML 연구를 발전시킨다.

ABSTRACT

We present the Open Graph Benchmark (OGB), a diverse set of challenging and realistic benchmark datasets to facilitate scalable, robust, and reproducible graph machine learning (ML) research. OGB datasets are large-scale, encompass multiple important graph ML tasks, and cover a diverse range of domains, ranging from social and information networks to biological networks, molecular graphs, source code ASTs, and knowledge graphs. For each dataset, we provide a unified evaluation protocol using meaningful application-specific data splits and evaluation metrics. In addition to building the datasets, we also perform extensive benchmark experiments for each dataset. Our experiments suggest that OGB datasets present significant challenges of scalability to large-scale graphs and out-of-distribution generalization under realistic data splits, indicating fruitful opportunities for future research. Finally, OGB provides an automated end-to-end graph ML pipeline that simplifies and standardizes the process of graph data loading, experimental setup, and model evaluation. OGB will be regularly updated and welcomes inputs from the community. OGB datasets as well as data loaders, evaluation scripts, baseline code, and leaderboards are publicly available at https://ogb.stanford.edu .

연구 동기 및 목표

• 노드 예측, 링크 예측, 그래프 예측 작업에 걸친 대규모의 다양한 그래프 데이터세트를 도입하여 확장 가능하고 현실적인 그래프 ML 벤치마크의 부족을 해소한다.
• 도메인별 현실적인 데이터 분할과 평가 지표를 제공하여 공정하고 재현 가능한 모델 비교를 가능하게 한다.
• 데이터 로딩, 분할, 평가를 포함하는 자동화된 엔드-투-엔드 파이프라인과 공개 리더보드를 제공하여 연구 및 벤치마킹을 가속화한다.

제안 방법

• Nature, Society, Information 도메인에 걸친 데이터세트를 포함하는 통합 벤치마크 스위트(OGB)를 도입한다.
• 세 가지 그래프 ML 작업 범주를 정의한다: 노드 속성 예측, 링크 속성 예측, 그래프 속성 예측.
• 각 데이터세트에 대해 도메인별 현실적인 데이터 분할과 표준화된 평가 지표를 제공한다.
• PyTorch 호환 프레임워크 내에서 자동화된 OGB 데이터 로더와 평가자를 개발하고 (PyTorch Geometric 및 DGL 지원 포함).
• 모든 데이터세트에 걸쳐 대표적인 GNN과 미니배치 학습 방법을 사용한 광범위한 기준 벤치마킹을 수행한다.
• 코드, 기준선 및 리더보드를 공개적으로 이용 가능하게 하고 지속적으로 커뮤니티 주도 저장소를 유지한다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 그래프 데이터세트가 그래프 ML 모델의 확장성 및 일반화에 어떤 영향을 미치는가?
• RQ2 현실적인 데이터 분할이 도메인 간의 분포 외 일반화 및 모델 강건성에 대해 무엇을 드러내는가?
• RQ3 통합된 데이터 로딩, 평가 및 벤치마킹 파이프라인이 실제 그래프에서 GNN 간의 공정하고 재현 가능한 비교를 가능하게 할까?

주요 결과

• OGB 데이터세트는 대규모이며 소그래프에서 대그래프에 이르기까지 다양하고 여러 도메인과 작업을 포괄한다.
• 현실적인 분할(무작위가 아님)은 일반화 격차와 분포 외 평가의 도전을 상당히 보여준다.
• 메모리 제약 하에서 미니배치 GNN은 전체 배치에 비해 경쟁력 있거나 더 우수한 성능을 보일 수 있으며 정규화의 이점이 있다.
• 기준선 결과는 현실적인 분할에서 학습과 테스트 간의 성능 격차가 크게 나타나 일반화의 문제를 강조한다.
• 데이터 로더, 평가자, 리더보드가 포함된 표준화된 파이프라인은 재현 가능한 벤치마킹과 진행 상황 추적을 촉진한다.