[논문 리뷰] GSLB: The Graph Structure Learning Benchmark

Zhixun Li, Liang Wang외 10명|arXiv (Cornell University)|2023. 10. 08.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 동종, 异종, 그래프 수준 작업을 포함한 20종의 다양한 그래프 데이터셋과 동종, 이종, 그래프 수준 작업 전반에서 16개의 최신 기법을 통합한 Graph Structure Learning(GSL)를 위한 첫 번째 종합 벤치마크인 GSLB를 소개한다. 성능, 내성, 복잡도의 세 가지 차원에서 방법을 평가하여 GSL이 최종 작업에서 성능을 크게 향상시킴과 동시에 공개된 코드베이스를 통해 향후 연구를 위한 표준화되고 재현 가능한 프레임워크를 제공함을 입증한다.

ABSTRACT

Graph Structure Learning (GSL) has recently garnered considerable attention due to its ability to optimize both the parameters of Graph Neural Networks (GNNs) and the computation graph structure simultaneously. Despite the proliferation of GSL methods developed in recent years, there is no standard experimental setting or fair comparison for performance evaluation, which creates a great obstacle to understanding the progress in this field. To fill this gap, we systematically analyze the performance of GSL in different scenarios and develop a comprehensive Graph Structure Learning Benchmark (GSLB) curated from 20 diverse graph datasets and 16 distinct GSL algorithms. Specifically, GSLB systematically investigates the characteristics of GSL in terms of three dimensions: effectiveness, robustness, and complexity. We comprehensively evaluate state-of-the-art GSL algorithms in node- and graph-level tasks, and analyze their performance in robust learning and model complexity. Further, to facilitate reproducible research, we have developed an easy-to-use library for training, evaluating, and visualizing different GSL methods. Empirical results of our extensive experiments demonstrate the ability of GSL and reveal its potential benefits on various downstream tasks, offering insights and opportunities for future research. The code of GSLB is available at: https://github.com/GSL-Benchmark/GSLB.

연구 동기 및 목표

• 일관되지 않은 실험 설정과 데이터셋으로 인해 그래프 구조 학습(GSL) 분야에서 표준화된 평가가 부족한 문제를 해결하기 위해.
• 다양한 그래프 유형과 학습 시나리오 전반에서 GSL 알고리즘 간의 공정하고 종합적인 비교를 위한 통합 벤치마크를 구축하기 위해.
• 성능, 내성(감독, 구조, 특징의 변형에 대한 내성), 계산 복잡도의 세 가지 기준으로 GSL 방법을 체계적으로 평가하기 위해.
• 학습, 평가, 시각화를 위한 사용자 우아한 라이브러리를 제공하여 재현 가능한 연구를 촉진하기 위해.
• 노드 수준 및 그래프 수준 작업 전반에서 현재 GSL 알고리즘의 성능 및 한계에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• 동종, 이종, 그래프 수준 작업을 포함한 다양한 그래프 데이터셋 20종을 정제하여 벤치마크를 구축하였으며, Cora, PubMed, IMDB-B, Peptides-Func 등 포함.
• 다양한 GSL 패러다임을 대표하는 16개의 최신 기법(LDS, GRCN, ProGNN, GTN, HGSL, HGP-SL, VIB-GSL 등)을 선정.
• 모든 데이터셋과 알고리즘 간에 일관된 훈련/검증/테스트 분할과 하이퍼파라미터 설정을 적용한 표준화된 평가 프로토콜 설계.
• 성능(노드 및 그래프 분류 정확도), 내성(감독, 구조, 특징의 변형에 대한 내성), 복잡도(시간 및 메모리 효율성)의 세 가지 차원에서 방법 평가.
• 재현 가능성과 사용 편의성을 보장하기 위해 학습, 평가, 시각화를 위한 모듈러한 오픈소스 라이브러리 구현.
• 동종성과 이종성 그래프 환경에서의 광범위한 아블레이션 연구 및 비교를 통해 알고리즘 행동 분석.

실험 결과

연구 질문

• RQ1 기존의 GSL 알고리즘은 동종, 이종, 그래프 수준 작업을 포함한 다양한 유형의 그래프 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 노이즈가 있는 특징, 손상된 구조, 불완전한 감독 등의 다양한 변형 조건 하에서 GSL 방법의 내성은 어떠한가?
• RQ3 훈련 시간과 메모리 사용 측면에서 GSL 알고리즘의 계산 복잡도는 어떻게 비교되는가?
• RQ4 어떤 GSL 방법이 다양한 벤치마크에서 일관되게 베이스라인을 초월하는가? 어떤 조건에서 그들이 뛰어난 성능을 발휘하는가?
• RQ5 특히 낮은 데이터 또는 노이즈가 많은 환경에서, GSL 방법은 표준 GNN에 비해 표현 학습을 얼마나 향상시키는가?

주요 결과

• GSL 알고리즘은 노드 및 그래프 분류 작업 전반에서 표준 GNN(GCN, GAT 등)을 일관되게 능가하며, HGP-SL은 IMDB-B에서 81.96%의 정확도, COLLAB에서 82.14%를 기록.
• GTN과 HGSL는 이종 데이터셋에서 최고의 성능을 기록하며, HGSL는 ACM에서 93.23%의 매크로-F1, Yelp에서 92.79%를 기록하여 이종성 모델링의 중요성을 입증.
• SUBLIME와 HES-GSL는 동종 노드 수준 작업에서 뛰어난 성능을 보이며, 각각 Cora에서 75.08%와 77.08%의 정확도 기록.
• VIB-GSL는 랜덤 시드 간에 높은 불안정성을 보이며, 하이퍼파rameter 민감도와 공식 훈련 스크립트 부족으로 인해 일관되게 베이스라인을 능가하지 못함.
• 내성 분석 결과, 구조 및 특징 변형에 대한 내성은 알고리즘 간에 크게 차이가 나며, STABLE과 SUBLIME는 강력한 내성 확보.
• 벤치마크 분석 결과, 모델 복잡도가 크게 다양함을 확인하였으며, NodeFormer처럼 훨씬 더 많은 시간과 메모리를 소비하는 방법도 존재하여 성능와 효율성 간의 상충 관계를 드러냄.