[논문 리뷰] OpenGSL: A Comprehensive Benchmark for Graph Structure Learning

Zhiyao Zhou, Sheng Zhou외 8명|arXiv (Cornell University)|2023. 06. 17.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

OpenGSL은 그래프 구조 학습(GSL)을 위한 공정하고 통합된 벤치마크를 제공하며, 10개 데이터세트에서 13개의 방법을 평가하고, 동형성(homophily), 일반화 가능성, 효율성을 분석하여 GSL이 GNN에 도움이 되는지 또는 해를 끼치는지를 밝힙니다.

ABSTRACT

Graph Neural Networks (GNNs) have emerged as the de facto standard for representation learning on graphs, owing to their ability to effectively integrate graph topology and node attributes. However, the inherent suboptimal nature of node connections, resulting from the complex and contingent formation process of graphs, presents significant challenges in modeling them effectively. To tackle this issue, Graph Structure Learning (GSL), a family of data-centric learning approaches, has garnered substantial attention in recent years. The core concept behind GSL is to jointly optimize the graph structure and the corresponding GNN models. Despite the proposal of numerous GSL methods, the progress in this field remains unclear due to inconsistent experimental protocols, including variations in datasets, data processing techniques, and splitting strategies. In this paper, we introduce OpenGSL, the first comprehensive benchmark for GSL, aimed at addressing this gap. OpenGSL enables a fair comparison among state-of-the-art GSL methods by evaluating them across various popular datasets using uniform data processing and splitting strategies. Through extensive experiments, we observe that existing GSL methods do not consistently outperform vanilla GNN counterparts. We also find that there is no significant correlation between the homophily of the learned structure and task performance, challenging the common belief. Moreover, we observe that the learned graph structure demonstrates a strong generalization ability across different GNN models, despite the high computational and space consumption. We hope that our open-sourced library will facilitate rapid and equitable evaluation and inspire further innovative research in this field. The code of the benchmark can be found in https://github.com/OpenGSL/OpenGSL.

연구 동기 및 목표

• 표준화된 데이터 전처리와 분할 하에 기존 GSL 방법들이 얼마나 진전했는지 평가한다.
• 더 높은 동형성의 그래프 구조를 학습하는 것이 GSL 성능을 향상시키는지 조사한다.
• 학습된 구조가 다른 GNN 백본과 간단한 비-GNN 베이스라인 간의 일반화 가능성을 평가한다.
• 현재 GSL 방법의 시간 및 메모리 효율성을 검토하여 실용적 한계를 식별한다.

제안 방법

• 단일화된 API 하에서 13개의 최첨단 GSL 방법을 재현하고 재현한다.
• 공정한 비교를 위해 일관된 데이터 처리 및 분할로 10개 데이터세트에서 방법을 평가한다.
• GCN 백본을 사용하여 학습 및 테스트를 수행하고, 10회 실행에 대해 평균 ± 표준편차를 보고한다.

Figure 1: Timeline of GSL research. Existing GSL methods are categorized into three groups based on the training procedure. Bottom left corner illustrates the key difference on the interaction between two components.

실험 결과

연구 질문

• RQ1 RQ1: 공정하고 표준화된 평가 하에서 기존 GSL 방법은 얼마나 진전을 이뤘는가?
• RQ2 RQ2: 더 높은 동형성을 가진 그래프 구조를 학습하는 것이 성능을 일관되게 향상시키는가?
• RQ3 RQ3: 학습된 구조가 학습 백본 이외의 다른 GNN 모델에 일반화되는가?
• RQ4 RQ4: 기존 GSL 방법은 시간과 공간 측면에서 효율적인가?

주요 결과

• GSL 방법은 모든 데이터세트에서 기존의 vanilla GCN을 일관되게 능가하지 못한다.
• 학습된 구조의 동형성은 보편적으로 더 나은 성능과 상관관계가 없으며, 증가분은 데이터세트에 따라 다르다.
• 학습된 구조는 서로 다른 GNN 모델 전반에 걸쳐 강력한 일반화 가능성을 보이며 LPA 및 LINK와 같은 비-GNN 방법에도 심지어 도움이 될 수 있다.
• 대부분의 GSL 방법은 시간 및 메모리 효율이 낮으며, 일부 방법은 GCN보다 최대 190배 느리고 메모리 사용량은 최대 66배 더 높다.

Figure 2: Homophily of learned structures and performances on homophilous datasets. The methods are ordered by homophily.