[논문 리뷰] Are we really making much progress? Revisiting, benchmarking, and refining heterogeneous graph neural networks

Qingsong Lv, Ming Ding외 8명|arXiv (Cornell University)|2021. 12. 30.

Advanced Graph Neural Networks참고 문헌 36인용 수 52

한 줄 요약

이 논문은 12개의 저명한 이질적 GNN을 체계적으로 재현하고, 올바른 설정으로 간단한 균질 GNN이 이를 대등하게 하거나 능가할 수 있음을 보여주며, Heterogeneous Graph Benchmark (HGB)와 강력한 Simple-HGN 베이스라인을 도입합니다.

ABSTRACT

Heterogeneous graph neural networks (HGNNs) have been blossoming in recent years, but the unique data processing and evaluation setups used by each work obstruct a full understanding of their advancements. In this work, we present a systematical reproduction of 12 recent HGNNs by using their official codes, datasets, settings, and hyperparameters, revealing surprising findings about the progress of HGNNs. We find that the simple homogeneous GNNs, e.g., GCN and GAT, are largely underestimated due to improper settings. GAT with proper inputs can generally match or outperform all existing HGNNs across various scenarios. To facilitate robust and reproducible HGNN research, we construct the Heterogeneous Graph Benchmark (HGB), consisting of 11 diverse datasets with three tasks. HGB standardizes the process of heterogeneous graph data splits, feature processing, and performance evaluation. Finally, we introduce a simple but very strong baseline Simple-HGN--which significantly outperforms all previous models on HGB--to accelerate the advancement of HGNNs in the future.

연구 동기 및 목표

• 공식 코드, 데이터셋, 설정 하에서 저명한 모델을 재현하여 이질적 그래프 신경망(HGNN)에서 얼마나 많은 발전이 이루어졌는지 평가한다.
• HGNN 진행 상황을 과대평가할 수 있는 실험 설계의 편향과 문제를 식별한다.
• 다양한 작업에서 HGNN의 공정하고 재현 가능한 평가를 가능하게 하는 표준화된 벤치마크(HGB)를 제공한다.
• HGNN 개발을 가속화하고 명확히 하기 위한 간단하면서도 강력한 베이스라인(Simple-HGN)을 제안한다.

제안 방법

• 공식 코드, 데이터셋, 하이퍼파라미터를 사용하여 12개의 인기 있는 HGNN 모델을 체계적으로 재현하고 균질 기반(GCN/GAT)과 공정하게 비교한다.
• 이전 HGNN 연구에서 데이터 누수, 부적절한 베이스라인, 비효율성을 식별하기 위한 실험 설정 분석.
• 데이터 분할, 특징 처리, 평가 파이프라인을 표준화하여 11개 데이터세트와 세 가지 작업을 포함하는 Heterogeneous Graph Benchmark(HGB)을 구축한다.
• 표준화된 베이스라인에 대한 HGNN 평가와 작업 전반에 걸친 재현 가능한 성능 보고.
• 학습 가능한 에지 타입 임베딩, 잔차 연결, 출력 정규화가 추가된 GAT 기반 모델 Simple-HGN의 개발을 통해 강력하고 간단한 베이스라인을 시연한다.

실험 결과

연구 질문

• RQ1 GCN 및 GAT와 같은 균질 GNN이 HGNN과의 공정한 비교에서 하위 최적 설정으로 인해 성능이 떨어지는가?
• RQ2 HGNN 문헌에서 불일치하거나 과대평가된 진행 주장에 기여하는 주요 요인은 무엇인가?
• RQ3 표준화된 벤치마크(HGB)가 공정하고 강건한 비교를 가능하게 하며 HGNN의 진정한 발전을 이끌 수 있는가?
• RQ4 간단하고 잘 조정된 베이스라인(Simple-HGN)이 다양한 이질 그래프 작업에서 기존 HGNN 모델들을 능가하는가?

주요 결과

• 공정한 재현은 입력 및 설정이 적절히 처리될 때 단순한 GNN이 종종 HGNN과 같거나 HGNN을 능가함을 보여준다.
• 이전 HGNN 연구에서 보고된 일부 결과는 데이터 누수나 부적절한 학습/테스트 분할에서 기인한다.
• 메타 경로(Meta-paths)가 많은 이질적 데이터셋에서 강력한 성능을 위해 항상 필요한 것은 아니다.
• 표준화된 벤치마크(HGB)와 그 리더보드는 작업과 데이터세트 전반에 걸친 재현 가능한 평가를 가능하게 한다.
• Simple-HGN, 에지 타입 임베딩, 잔차 연결, 출력 정규화가 있는 GAT 기반 모델은 HGB에서 이전 HGNN보다 일관되게 우수한 성능을 보인다.