[논문 리뷰] A critical look at the evaluation of GNNs under heterophily: Are we really making progress?

Oleg Platonov, Denis Kuznedelev외 3명|arXiv (Cornell University)|2023. 02. 22.

Tracheal and airway disorders인용 수 22

한 줄 요약

이 논문은 표준 이질친화성 벤치마크의 데이터 누 leakage 및 중복 문제를 밝히고, 다양한 새로운 이질친화 데이터셋을 제안하며, 표준 GNN이 종종 이질친화성 특화 모델보다 우수하다는 것을 발견합니다.

ABSTRACT

Node classification is a classical graph machine learning task on which Graph Neural Networks (GNNs) have recently achieved strong results. However, it is often believed that standard GNNs only work well for homophilous graphs, i.e., graphs where edges tend to connect nodes of the same class. Graphs without this property are called heterophilous, and it is typically assumed that specialized methods are required to achieve strong performance on such graphs. In this work, we challenge this assumption. First, we show that the standard datasets used for evaluating heterophily-specific models have serious drawbacks, making results obtained by using them unreliable. The most significant of these drawbacks is the presence of a large number of duplicate nodes in the datasets Squirrel and Chameleon, which leads to train-test data leakage. We show that removing duplicate nodes strongly affects GNN performance on these datasets. Then, we propose a set of heterophilous graphs of varying properties that we believe can serve as a better benchmark for evaluating the performance of GNNs under heterophily. We show that standard GNNs achieve strong results on these heterophilous graphs, almost always outperforming specialized models. Our datasets and the code for reproducing our experiments are available at https://github.com/yandex-research/heterophilous-graphs

연구 동기 및 목표

• 널리 사용되는 이질친화성 벤치마크의 결함(예: 중복 노드 및 학습-테스트 누 leakage)을 강조합니다.
• 이질친화성 하에서 GNN을 평가하기 위한 더 나은 벤치마크로서 다양하고 대규모의 이질친화 데이터셋을 제안합니다.
• 새 벤치마크에서 표준 GNN과 이질친화성 특화 모델의 실험적 비교를 통해 진척 상황을 평가합니다.

제안 방법

• 기존 이질친화성 데이터셋의 특성과 특성(조정된 동질성, 라벨 정보성)을 비판적으로 분석합니다.
• 학습-테스트 누 leakage를 유발하는 중복을 식별하고 제거 후 성능 변화을 정량화합니다.
• 도메인에 걸친 10K–50K 노드를 갖는 다섯 개의 새로운 이질적 그래프를 만들고 다양한 구조적 특성을 포함합니다.
• 새로운 데이터셋에서 광범위한 모델(표준 GNN 및 이질친화성 특화 모델)을 벤치마킹합니다.
• 이고- 이웃 임베딩 분리를 퍼포먼스에 기여하는 요인으로 조사합니다.

실험 결과

연구 질문

• RQ1 표준 이질친화성 벤치마크가 중복으로 인한 데이터 누 leakage를 겪고 있으며, 이것이 모델 순위에 어떤 영향을 주는가?
• RQ2 새롭고 다양한 이질친화 벤치마크에서 표준 GNN이 이질친화성 특화 모델보다 우수한가?
• RQ3 이고- 이웃 임베딩의 분리가 이질친화성 하에서 일관되게 성능을 향상시키는가?

주요 결과

• 사고기/다람쥐 데이터셋의 중복 노드가 학습-테스트 누 leakage를 야기하며, 중복 제거가 모델 성능을 급격히 바꾼다.
• 새로운 이질친화 벤치마크에서 표준 GNN이 데이터셋 전반에 걸쳐 이질친화성 특화 모델보다 대부분 우수하다.
• 이고- 이웃 임베딩 분리(GAT-sep, GT-sep 등과 같은 기법)가 이질친화성 하에서 표준 GNN에 강력한 성능을 제공한다.
• FSGNN은 여전히 비교적 강력한 이질친화성 특화 모델이지만 일관되게 지배하지는 않으며, 제안된 벤치마크에서 다수의 이질친화성 특화 방법이 표준 GNN을 능가하지 않는다.
• 베이스라인 중 최적의 성능은 일반적으로 이고- 이웃 임베딩 분리를 사용하는 모델에서 나오며, 이는 이질친화 설정에서 강건한 전술임을 시사한다.